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Human-computer interaction paradigms аге poised for a revolutionary transformation. Generally,a computing device comptises input technologies for the users to provide instructions ог commands,processing technologies to 
execute computing tasks according to the uset inputs,and output technologies to return the results or responses back to the user. Looking back into the past,the introduction of the mouse and keyboard had a profound impact on 
the evolution and growth of personal computers.Along with rapid advances in computing,display,and communications technologies,the advent of easy and affordable means to provide user inputs was crucial to the phenomenal 


global adoption of computers.Similarly,the introduction of remote control devices helped make televisions more convenient and contributed to the widespread adoption around the world. 


However,while these input devices helped define the computing and entertainment hubs in the homes and offices,and spurred the development of plethora of useful applications,they also limit the scope of human interfaces 
by requiring the users to interact with content on the screens indirectly.For example,the user has to drag the computer mouse around on the table,which in turn controls the movement of the digital content on the computer 
screen.In the real world,we interact with objects directly. When I want to move a book from the table to the shelf, I directly pick it up with my hand and place it to where I want it.Imagine if I had to perform that task by an indirect 
manipulation scheme,such as having to move around another physical object in space which would dictate the location and movement of the book.It would make the interaction with the objects in the physical world extremely 


inconvenient and frustrating! 


In the recent years,the introduction of touch screen technologies in mobile devices has enabled direct user interactions with the content on displays. The impact of this on new mobile devices and applications has been 
unprecedented. The natural user interfaces developed using the touch inputs have fueled the creation of a vast number of new applications,and played a key role in the rapid growth of mobile device categories across the globe.With 
input and interaction schemes that are both easy to use and fun,mobile devices have penetrated all walks of life.While the resulting user experiences are much more compelling than those built based on indirect input devices such 
as the mouse,touch-screen based user interactions are still limited to a 2D plane.Even though the screens on the devices display 3D graphical content at different virtual planes,the users can only touch the surface of the screen to 


manipulate the content. 


We live in the 3D world,and are used to navigating and manipulating objects in the 3D space. Equipped with a rich set of natural sensors,we see,hear,touch,smell,and taste the world,as well as perceive depth and interact in the 
3D environment. For example,we grab an object with out fingers,bring it close to out eyes to have а better look,and then place it back at a distance.We hold а door knob by our hand,twist it by ап angle,and then pull or push 
towards or away from us to open it.When we play a slingshot game,we pull the sling closer to us and then let it go away from us to hurl the object into 3D space. These are just a few examples of activities that we perform in the 


physical world,where we take 3D interactions in our daily lives for granted. 


Implementing such natural interactions between humans and computers requires development and integration of new input technologies.Specifically,to capture 3D spatial information and recognize human actions in the 3D 
space accurately,the computing device needs to have the ability to sense and understand the 3D world in real time.However,today” s computing devices are only equipped with 2D imaging devices that have originally been 


developed for captuting 2D pictures and videos.So is it time to add 3D visual sensing technology and depth perception to computing devices? Why does a machine need to “see” and “sense” the 3D world like humans? 


Let?’ 5 look back into the past again: : ° this time way back,in fact~540 million years back!Fossil records reveal that a period of about 70 - 80 million years starting at that time went through an exceptionally accelerated pace of 
diversification of biological organisms іп the evolution process,which has been named the Cambrian explosion. There are many theories and debates about what triggered this phenomenon, including environmental as well as 
developmental factors. Among these,the onset of biological vision system including the ability to sense the world in 3D has been credited to be a key factor that advanced the capabilities of species via natural selection and,later 


on,the evolution of early mammals. 


Similatly,computing devices equipped with real-time 3D visual sensing technologies can be developed to understand the 3D environment around them,interact with humans and each other in much more natural and intuitive 
ways.Recognizing this,researchers and engineers in academia and industry have intensified research and development of 3D imaging and depth perception technologies in the recent years.However,for the technologies and 
applications to potentially go pervasive,several significant developments have to be realized. These include miniaturizing the 3D sensor modules such that they could be easily integrated into devices of all form factors,lowering the 
power consumption for longer battery lives of mobile devices,as well as reducing costs for mainstream adoption. Besides the sensots,other key technologies include 3D computer vision algorithms for enabling real-time 


understanding and interactions utilizing the 3D information,applications that are built using the new interfaces,and efficient hardware architecture for accelerating the algorithms and applications. 


Intel®RealSenseMTechnology has been developed and introduced to the computing ecosystem towards realizing this vision(www.intel.com/realsense).RealSense offerings include small form-factor,low-power,and low-cost 


3D sensing modules with onboard hardware acceleration of depth algorithms,and software development kits(SDK)incorporating a set of sophisticated middleware libraries with easy-to-use application programming interfaces(API). 


The spectrum of new applications enabled by RealSense technologies and devices are endless.Laptops,all-in-one(ATO)computers,and 2:1/tablet devices with integrated RealSense cameras are already available from a number 
of leading computer makers and ramping їп the market. The applications include user authentication via accurate face recognition,video chats and live streaming with virtual “green screen” effects via background 
segmentation, immersive gaming and application control with 3D gesture inputs,3D scan of humans,objects,and scenes,virtual decorations and shopping,just to name a few categories.Beyond the traditional computing devices,real- 
time 3D sensing and scene understanding capabilities built using the RealSense cameras are enabling a new class of autonomous machines,including self-navigating robots,collision-avoiding drones,virtual dressing mirrors for retail 


shopping, ,etc.RealSense cameras are also enabling immersive augmented and virtual reality experiences by adding accurate tracking,user interactions,and mixed reality technologies. 


This book,entitled “RealSense 互 动 开 发 实战 ”and authored by “ЕН”, 汤 振 宇 ”,and“ 吴 新 天 ”will be a very useful tool for the systems and applications developers. After a high level intr-o-duc-tion of the 
underlying technologjes and application areas,the book dives into the RealSense SDK and APIs.It includes detailed discussion of the software architecture and application implementation techniques,along with numerous examples 


of sample codes.Following the principles and examples outlined throughout the book,creative developers and engineers will be better equipped to implement RealSense products in a wide range of systems and applications. 


The era of perceptual computing is upon us,where the computing devices and machines can sense and perceive the 3D world,interact with humans and each other in natural and engaging manner. We are just at the beginning 
of a Journey to profoundly transform the world of computers and machines.It” s time to unleash the Cambrian explosion of computing enabled by rich real-time 3D sensing and perceptual computing technologjes.I can” t wait to 


see what the future holds,and invite you to join the journey to create the future together! 
Achintya K.Bhowmik,Ph.D. 
Vice President&General Manager, Perceptual Computing Group 


Intel Corporation 


数字 设备 都 在 使 用 摄像 头 ， 无 处 不 在 地 和 人 们 进行 交互 。 可 是 ， 现 在 绝 大 部 分 的 摄像 头 是 2D 的 摄像 头 ， 仅 可 以 获取 RGB (22. Ж, K) 色彩 信息 。 而 我 们 生活 在 一 个 三 维 的 世界 里 ， 用 普通 摄像 头 获 取 RGB 
数字 信息 的 同时 却 丢 失 了 深度 乙 的 信息 ， 这 让 数字 世界 里 再 也 无 法 还 原 原 有 的 三 维 信息 。 深 度 摄 像 头 就 是 通过 主动 或 被 动 的 方式 来 捕捉 深度 信息 ， 真 实地 记录 所 拍摄 的 每 个 像素 的 深度 ， 以 保留 现实 世界 的 


所 有 信息 。 现 在 ， 科 研 和 市 场 上 已 有 一 些 深度 摄像 头 ， 而 IntelgRealSenseIM 实 感 摄像 头 突破 了 尺寸 大 小 、 功 耗 、 实 时 处 理 、 精 度 等 各 方面 的 限制 ， 这 就 极 大 地 扩大 了 它 的 使 用 模式 和 场景 。 它 不 再 局 限于 客厅 
里 的 电视 体感 游戏 ， 而 可 以 集成 在 笔记 本 电脑 、 平 板 电 脑 、 手 机 等 各 种 日 常 的 计算 设备 里 。 更 主要 的 是 它 还 可 以 用 于 机 器 人 、 虚 拟 现实 、 增 强 现实 、 车 般 甚 至 无 人 机 上 ， 充 当 这 些 无 人 设备 的 眼睛 ， 使 它们 
可 以 真正 看 到 并 感知 到 这 个 真实 的 三 维 世 界 ， 和 人 类 进行 真正 的 智能 交互 。 


Intel RealSense 摄 像 头 能 够 实时 输出 深度 数据 ， 可 是 如 何 运 用 RGBD 〈 红 、 绿 、 蓝 和 深度 ) 数据 牵涉 很 多 计算 机 视觉 方面 的 算法 。 这 无 形 中 加 大 了 人 们 运用 深度 摄像 头 的 难度 。Intel RealSense SDK 也 就 应 
运 而 生 。RealSense SDK 作 为 软件 开发 工具 包 ， 充 分 利用 实时 的 RGBD 信 息 ， 提 供 了 手势 交互 、 脸 部 识别 、 背 景 分割 、 场 景 感知 、 三 维 扫 描 重 建 、 表 情 分 析 等 一 系列 计算 机 视觉 算法 ， 通 过 极其 优化 的 架构 ， 
经 过 严格 的 测试 ， 提 供给 每 一 位 开发 者 。 而 且 这 些 SDK 都 是 免费 的 资源 ， 这 样 极 大 地 降低 了 开发 难度 ， 使 开发 者 可 以 将 精力 集中 在 擅长 的 使 用 模式 和 场景 开发 上 。 本 书 的 目的 正 是 为 了 帮助 开发 者 更 好 地 使 
用 Intel RealSense SDK。 本 书 不 仅 对 SDK 进 行 了 详细 的 介绍 ， 还 提供 了 非常 多 的 开发 实例 ， 让 读者 可 以 快速 上 手 。 当 学 习 到 一 定 程度 时 ， 读 者 可 以 拓展 到 各 个 新 的 领域 ， 带 来 更 多 意 想 不 到 的 应 用 惊喜 。 


本 书 第 1 章 从 自然 人 机 交互 出 发 介绍 Intel RealSense 技 术 概 况 、 应 用 场景 和 组 成 。 第 2 章 着 重 介 绍 Intel RealSense SDK 的 架构 与 编程 基础 。 第 3~13 章 依次 介绍 3D 扫 描 、 团 块 跟踪 、 深 度 增强 的 摄影 和 录像 、 
脸 部 跟踪 、 手 势 跟踪 、 物 体 识 别 、 物 体 跟 踪 、 场 景 解析 、 语 音 识 别 与 合成 、 无 接触 控制 、 用 户 分 割 等 核心 算法 。 第 14 章 和 第 15 章 分 别 介 绍 SDK 算 法 工具 及 Unity 工 具 集 。 第 16 章 以 Inhtel RealSense 技 术 在 机 器 


人 、 虚 拟 教 学 、VR 方 面 的 实例 展示 了 SDK 的 应 用 方法 。 


在 Intel RealSense 的 推广 过 程 中 ， 产 业界 、 工 业界 、 学 术 界 经 常 交流 合作 ， 大 家 都 认为 需要 有 一 本 这 样 的 书 来 帮助 开发 者 更 好 地 使 用 RealSense SDK。 本 书 由 浙江 大 学 王 日 海 、 英 特 尔 实感 计算 中 国 区 总 监 
汤 振 宇 、 英 特 尔 RealSense SDK 的 首席 架构 师 吴 新 天 合作 写成 ， 希 望 对 读者 的 开发 工作 有 所 帮助 。 在 本 书 的 写作 过 程 中 ， 得 到 许多 朋友 的 帮助 ， 包 括 清华 大 学 杨 毅 老师 和 电子 工程 系 核心 课程 媒体 与 认 知 课程 
项 目 组 成 员 ， 浙 江 大 学 的 毛 颖 、 李 竹 一 、 书 笠 、 张 佳 鹏 、 华 佳 业 、 胡 文学 、 叶 晓 丹 、 张 亮 、 龙 阳 祺 、 张 宇 翔 ， 英 特 尔 工程 师 赵 飞 等 。 本 书 向 开发 Intel RealSense SDK 的 工程 师 和 团队 致敬 ， 他 们 是 所 有 这 一 切 
的 基石 。 我 们 衷心 感谢 英特尔 中 国 区 大 学 合作 部 的 朱文 利 女士 、 王 请 琪 女士 及 其 团队 的 大 力 支持 ， 感 谢 英特尔 副 总 裁 及 感知 计算 事业 部 总 经 理 Achin Bhowmik 博 士 的 鼎力 支持 ， 也 要 感谢 张国强 先生 积极 地 策 
划 与 推动 了 本 书 的 成 稿 。 


第 1 章 Intel RealSense 技 术 与 自然 人 机 交互 


1.1 自然 人 机 交互 


“那些 不 为 人 所 察觉 的 技术 ， 影 响 最 为 深远 。” 
“它们 与 人 类 的 日 常生 活 融 为 一 体 ， 不 分 你 我 。” 
— Matk Weiser, 1952—1999 


自从 1946 年 世界 上 第 一 台数 字 计算 机 诞生 ， 计 算 机 已 成 为 人 们 工作 、 生 活 中 离 不 开 的 高 级 工具 。 人 们 将 计算 机 广泛 用 于 计算 、 控 制 、 监 测 、 办 公 、 娱 乐 等 领域 。 除 了 计算 、 人 存储 、 通 信 等 工作 任务 ， 人 
与 计算 机 间 的 交互 方式 也 一 直 在 改变 ， 甚 至 引领 相关 技术 的 发 展 。 


早期 的 计算 机 系统 以 命令 行 界面 为 主要 输入 /输出 手段 ， 专 业 的 程序 员 与 计算 机 间 通 过 命令 语言 、 键 盘 进 行 交互 ， 了 解 运 算 过 程 及 结果 。 


到 了 20 世 纪 60 年 代 ， 美 国 的 Sutherland 发 明了 菜单 、 窗 口 、 图 标 ， 并 采用 光 笔 绘图 。Engelbart 在 1963 年 发 明了 鼠标 。20 世 纪 70 年 代 ， 施 乐 公 司 在 Alto 计 算 机 上 开发 了 图 形 显 示 技 术 。 之 后 ，Apple 公 
司 开 发 了 基于 鼠标 和 图 形 界面 的 Macintosh 计 算 机 。 此 后 ， 人 机 交互 开始 进入 了 图 形 用 户 界面 阶段 。 


为 计算 机 增加 传 感 手段 ， 使 其 能 够 像 人 一 样 感知 周围 的 环境 、 用 户 的 反应 等 ， 并 能 像 人 一 样 与 用 户 自 然 地 交流 ， 一 直 是 人 们 追求 的 目标 。VPL 公 司 在 1982 年 开发 了 用 于 手势 输入 的 数据 手套 。 手 写 识 
别 、 语 音 识 别 、 光 笔 交互 等 技术 也 已 日 趋 成 熟 。 近 年 来 ， 微 软 的 Kinect、LeapMotion 3D 摄 像 头 、 谷 歌 眼 镜 等 更 加 自然 的 交互 手段 先后 推出 ， 虚 拟 现 实 、 增 强 现实 技术 也 逐渐 投入 使 用 ， 原 来 那些 在 科幻 电 
影 中 的 镜头 已 日 益 成 为 现实 。 
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到 了 20 世 纪 60 年 代 ， 美 国 的 Sutherland 发 明了 菜单 、 窗 口 、 图 标 ， 并 采用 光 笔 绘图 。Engelbart 在 1963 年 发 明了 鼠标 。20 世 纪 70 年 代 ， 施 乐 公司 在 Alto 计 算 机 上 开发 了 图 形 显示 技术 。 之 后 ，Apple 公 
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1.2 Intel RealSense 技 术 


Intel Realsense 技 术 是 Intel 公 司 于 2012 年 开发 的 、 用 于 自然 人 机 交互 的 技术 ， 是 在 深入 剖析 从 人 类 传 感 到 交互 的 实现 过 程 基础 上 ， 为 计算 设备 添加 “类 人 ”感官 而 进行 的 技术 创新 。 人 类 参与 交互 的 部 
位 包括 眼 、 耳 、 手 、 嘴 等 ， 如 图 1-1 所 示 。 


人 类 感知 世界 主要 以 眼 和 和 耳 为 输入 器 官 ， 通 过 对 视觉、 声音 的 获取 ， 并 经 过 人 类 大 脑 的 相关 感知 区 域 识别 、 处 理 ， 最 终 形 成 人 对 外 界 事物 的 认 知 与 判断 。 其 中 ， 人 类 大 脑 就 是 中 央 处 理 器 ， 在 眼 、 征 感 
官 基础 上 进行 手势 、 表 情 、 自 然 语言 分 析 等 复杂 的 认 知 。 计 算 设备 类 似 人 类 大 脑 ，Intel RealSense 技 术 的 核心 就 是 为 计算 设备 添加 视觉 、 听 党 等 “类 人 ”感官 的 硬件 及 软件 库 ， 使 计算 设备 能 够 像 人 一 样 对 
外 界 进行 反应 ， 与 外 界 交互 。 


图 1-1 人 类 参与 交互 的 部 位 


在 感知 硬件 中 ， 视 觉 传感器 是 信息 量 最 大 的 输入 手段 。 视 觉 传感器 从 最 初 的 几 十 万 像素 已 经 逐步 发 展 到 高 清 、 超 高 清 。 但 传统 视 党 传感器 所 提供 的 2D 图 像 与 真实 世界 中 的 景象 与 物体 还 是 有 很 大 差异 
的 。 用 普通 摄像 头 拍 照 或 录像 ， 只 能 把 真实 世界 的 景象 投影 到 2D 平 面 。 这 样 2D 平 面 图 像 就 缺失 了 真实 世界 的 深度 信息 ， 使 其 身 临 其 境 感 大 打折 扣 ， 如 图 1-2 所 示 。 人 眼 是 通过 双眼 视差 来 获得 深度 信息 的 。 
深度 信息 对 于 物体 识别 、 运 动 估计 等 深层 次 视 党 任务 至 关 重要 。lntel RealSense 摄 像 头 是 3D 摄 像 头 ， 利 用 红外 成 像 技术 在 普通 彩色 摄像 头 的 基础 上 提供 了 深度 信息 。Intel RealSense 摄 像 头 不 仅 可 以 像 微 
软 Kinect、LeapMotion 等 设备 那样 作为 独立 设备 使 用 ， 甚 至 可 以 嵌入 笔记 本 电脑 、PAD、 手 机 等 设备 中 ， 这 就 大 大 拓展 了 3D 摄 像 头 的 应 用 范围 。Intel RealSense 3D 摄 像 头 能 实时 提供 彩色 图 像 及 其 深度 
图 ， 手 部 图 像 示 例如 图 1-3 所 示 。 这 样 可 以 轻松 地 把 真实 的 3D 世 界 捕捉 到 数字 的 3D 世 界 ， 并 且 重 现 每 个 像素 点 的 真实 (x, y, z) 。 可 以 预见 ，RealSense 技 术 一 定 会 占据 重要 的 市 场地 位 。 
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812 ”缺乏 深度 信息 的 2D 图 像 与 真实 世界 的 差异 


1.Intel RealSense 3D 摄 像 头 


目前 有 两 类 Intel RealSense 3D 摄 像 头 ， 一 类 是 主要 用 于 近 距 离 场景 的 3D 摄 像 头 ， 型 号 为 F200、SR300; 一 类 是 主要 用 于 远 距 离 场景 的 3D 摄 像 头 ， 型 号 为 R200。 


图 1-3 Intel RealSense 3D 摄 像 头 提供 的 手 部 图 像 


图 1-4 ”外 置式 F200 摄像 关 


外 置式 的 近 距 F200 摄像 头 如 图 1-4 所 示 。 其 技术 规格 如 下 : 
. 前 置 摄像 头 (0.2~1.2 米 ， 仅 限 室 内 使 用 ) 

. ЖИЛЕ: 640 X480， 分 状 率 @60fps 

· КСВ: 1080p@30fps 

- USB 3.0 

. 开发 人 员 套 件 规格 : 1502 k x308% x 582 3: 


- 支持 Mictosoft Windows 8.1 (64 位 ) 


2.F200 


近 距 的 F200 通常 集成 在 笔记 本 电脑 等 设备 的 前 面板 ， 聚 焦 个 人 设备 交互 ， 如 手 、 面 部 表情 ， 其 作用 范围 与 距离 如 图 1-5 所 示 。 


手势 有 效 范 围 : 0.2 一 0.6 米 

腔 部 跟踪 范围: 0.3 ~ 1.2 Ж 

RGB |416: 1080р, 30#рѕ 

RRE RHR: 640 х 480, 60fps 
1-5 近 距 F200 摄 像 头 的 作用 范围 与 距离 


如 图 1-6 所 示 是 F200 的 内 部 构造 图 ， 可 以 看 到 F200 包含 内 置 的 实感 图 像 处 理 心 片 、 红 外 传感器 、 彩 色 传感器 、 红 外 激光 发 射 器 等 主要 部 件 (从 左 至 右 ) 。 红 外 激光 发 射 器 按 预定 的 模式 投射 红外 光 到 视 
场 中 ， 红 外 光 经 物体 反射 后 由 红外 传感器 接收 ， 并 由 实感 图 像 处 理 世 片 计算 得 出 深度 场 。 彩 色 传感器 则 提供 2D 平 面 图 像 信息 。 模 组 最 后 通过 USB3.0 输 出 RGBD ( 红 、 绿 、 蓝 及 深度 ) 信息 。 通 过 UV тарж 
把 深度 信息 D 映 射 到 相应 的 RGB 像素 点 上 。 这 样 每 个 像素 点 都 可 以 计算 出 相应 的 3D 世 界 坐标 (x, y, z) 。 所 有 这 一 切 功 能 都 集成 在 110.0mmx12.5mmx3.75mm 尺 十 的 模 组 上 ， 通 过 USB 直 接 供电 ， 最 大 
限度 地 节约 了 空间 和 功 耗 ， 使 得 将 Intel RealSense 3D 摄 像 头 集成 在 移动 设备 上 成 为 可 能 。 


SR300 是 Intel 最 新 推出 的 F200 升 级 版 近 距 离 3D 摄 像 头 。 相 对 于 F200 的 主要 性 能 SR300 在 以 下 方面 有 所 改进 : 
` 距离 和 检测 速度 提升 

* 低 照度 条 件 下 的 彩色 图 像 质量 提高 

彩色 和 深度 数据 流 的 同步 提升 


“ 更 低 的 功 耗 


红外 激光 
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图 1-6 ”F200 摄像 关内 部 构造 图 


3.R200 摄 像 头 


图 1-7 是 外 置式 的 远 距 R200 摄 像 头 ， 其 技术 规格 如 下 : 


景深 摄像 头 外 设 


. 远 距 3D 摄 像 头 (室内 3~4 米 ， 室 外 距离 更 远 ) 


景深 /IR: 640х480, 2 (060 рѕ 


. RGB: 1080p@30fps 
. USB 3.0 
. 开发 人 员 套 件 规格 : 1302 х0 хта 3 


“ 支持 Mictrosoft Windows 8.1 及 更 高 版 本 (64 位 版 本 ) ~ Android Linux 


817 外 置式 R200 摄 像 关 


远 距 的 R200 摄 像 头 通常 集成 在 PAD、 手 机 等 智能 设备 的 后 板 上 ， 聚 焦 环境 交互 ， 其 作用 范围 与 距离 如 图 1-8 所 示 。 


图 1-9 是 R200 摄 像 头 的 内 部 构造 图 。R200 主 要 用 于 远 距离 场景 ， 利 用 双 目 视差 原理 进行 两 路 红外 传 感 接收 ， 从 而 提高 远 距 离 测 距 的 准确 性 。 可 以 看 到 R200 包 含 内 置 的 左 红外 传感器 、 色 彩 传感器 、 红 外 
激光 发 射 器 、 石 红外 传感器 、 实 感 图 像 处 理 心 片 等 主要 部 件 (从 左 至 右 ) 。 红 外 激光 发 射 器 发 射出 固定 的 散 斑 ， 由 左右 红外 传感器 来 接收 信息 ， 通 过 三 角 定 位 原理 ， 实 时 计算 出 每 个 像素 点 的 深度 信息 。 同 
时 色彩 传感器 获得 正常 的 高 质量 RGB 信息 。 模 组 最 后 通过 USB 3.0 输 出 RGBD 信 息 。 通 过 UV map 来 把 深度 信息 D 映 射 到 相应 的 RGB 像素 点 上 ， 这 样 每 个 像素 点 都 可 以 计算 出 相应 的 3D 世 界 坐 标 (x,y,z) 。 


R200 将 所 有 的 器 件 高 度 集成 在 101.6mmx9.6mmx3.8mm 尺 十 的 模 组 上 ， 通 过 USB 直 接 供电 ， 最 大 限度 地 节约 了 空间 和 功 耗 ， 使 得 集成 Realsense 3D 摄 像 头 不 仅 在 平板 电脑 、 手 机 等 移动 设备 上 成 为 可 
能 ， 而 且 能 拓展 到 机 器 人 、 无 人 机 等 智能 设备 的 视觉 领域 。 


Vertical FoV 
= 46" 


-3.5 m" 

indoors 

有 效 范 围 : 室内 0.6 ~ 3.5 Ж 
RGB 图 像 : 1080p，30fps 
深度 图 像 : 640 x 480，60fps 


Horizontal Роу 


1-8 远 距 R200 摄 像 头 的 作用 距离 与 范围 
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1-9 R200 摄 像 头 内 部 构造 图 


4.Intel RealSense SDK 


为 了 更 加 方便 开发 者 利用 高 度 集成 的 Intel RealSense 摄 像 头 ，Intel RealSense 技 术 还 提供 了 丰富 的 SDK， 包 含 预先 开发 好 的 各 类 计算 机 视觉 算法 ， 以 支持 应 用 程序 的 自然 人 机 交互 ， 表 1-1 总 结 了 Intel 
RealSense SDK for Windows 支 持 的 特性 。SDK 支 持 C++、C#、JavaScript、Java、Unity 等 多 种 编程 语言 ， 限 于 篇 幅 ， 书 中 例子 均 以 C 语 言 为 主 。 
表 1-1 Intel RealSense SDK for Windows 支 持 的 特性 
全 手 关节 跟踪 和 手势 控制 
ө 3D FRAM 


ө 面部 分 析 


前 置 摄像 头 的 使 用 模式 
(一 体 机 、 笔 记 本 电脑 ) 


ө 利用 景深 的 增强 现实 

ө йт 

ө 3D 脸 部 建 模 

ө 面部 、 人 体 和 环境 的 3D 建 模 
ө 利用 景深 的 增强 现实 

ө 利用 景深 增强 的 实时 摄影 和 视频 
@ 

© 


前 置 摄像 头 的 使 用 模式 
(一 体 机 、 笔 记 本 电脑 ) 


后 置 摄像 涉 的 用 途 


(平板 电脑 、 二 合 一 设备 ) Pi 
a 3D 立体 实时 测量 


面部 检测 和 跟踪 
ө 需 配 有 集成 景 次 摄像头 及 英特尔 酯 罕 和 英特尔 姿 动 处 理 逢 系统 


1 T F pie EA 
шш ө 文 持 在 第 四 代 智 能 英特尔 酷睿 处 理 硕 和 更 高 版 本 处 理 硕 上 的 开发 
操作 系统 © Microsoft Windows 8.1 操作 系统 (64 位 ) 


ө Microsoft Windows 10 


ө C++、C# JavaScript, Java (JDK 1.7.0 11 或 支持 面部 、 语 音 和 手势 方面 功能 
的 更 高 版 本 ) 

ө Unity РКО 4.1.0 或 支持 Unity 游戏 开发 的 更 高 版 本 

ө Unity PRO 2.0.7 或 支持 Processing 框架 开发 的 更 高 版 本 


支持 的 编程 语言 和 框架 


支持 的 IDE ө wA SP1 或 更 高 版 本 的 Microsoft Visual Studio C++ 2010 ~ 2013 
e 用 于 C 开发 的 Microsoft .NET 4.0 Framework 
文 持 的 开发 工具 ө Unity РКО 4.1.0 或 支持 Unity 游戏 开发 的 更 高 版 本 


e Processing 2.0.7 或 支持 Processing 框架 的 更 高 版 本 


1.3 Intel RealSense 的 应 用 领域 


Intel RealSense 技 术 使 计算 设备 有 了 与 人 一 样 的 视觉 及 听 沈 能力 ， 从 而 可 以 更 自然 地 与 用 户 进行 交互 。 机 器 将 不 再 单纯 是 傻瓜 型 的 或 命令 型 的 ， 而 是 可 以 更 智能 地 与 人 类 协作 ， 营 造 出 “机 器 + 人 ”的 
共生 系统 。 


Intel RealSense 可 以 应 用 于 以 下 时 尚 和 实用 的 场景 。 


1.3D 扫 描 、 共 享 和 打印 


Intel RealSense 技 术 提 供 了 实时 的 3D 扫 描 重建 功能 。 开 发 者 可 以 直接 调用 Intel RealSense SDK 的 函数 对 人 的 脸 部 、 全 身 ， 甚 至 真实 场景 进行 实时 3D 扫 描 ， 扫 摘 的 结果 是 .obj、.ply 等 标准 3D 文 件 格 
式 ， 如 图 1-10 所 示 。 用 户 可 以 对 这 些 3D 模 型 进行 编辑 ， 或 直接 用 3D 打 印 机 打印 出 需要 的 模型 。 现 在 的 3D 打 印 机 已 经 很 成 熟 ， 可 以 打印 出 上 百 种 材质 的 立体 3D 模 型 ， 也 可 以 采用 彩色 3D 打 印 、 生 物 打印 等 
其 他 方式 。 目 前 ， 绝 大 部 分 能 用 于 打印 的 3D 模 型 都 是 由 建 模 师 手工 构建 的 ， 这 样 一 则 成 本 太 高 ， 二 则 建 出 来 的 模型 和 现实 需要 的 模型 还 是 相去 甚 远 。Intel RealSense 技 术 提 供 的 3D 扫 描 重建 功能 方便 快 
捷 、 低 成 本 地 解决 了 这 个 大 问题 ， 用 户 可 以 用 随身 携带 的 移动 设备 扫描 现实 中 的 人 或 物体 ， 把 他 们 带 入 3D 数 字 世 界 ， 将 3D 世 界 的 扫描 、 编 辑 、 打 印 、 再 现 和 再次 扫描 形成 一 个 完美 的 闭环 。 


利用 Intel Realsense 技 术 3D 扫 描 重 建功 能 所 形成 的 3D 模 型 ， 不 仅 可 用 于 3D 打 印 ， 还 可 以 方便 地 实时 在 社交 了 网络 分 享 。 今 天 人 们 已 经 可 以 在 美国 的 Facebook 上 分 享 自己 扫 摘 的 3D 模 型 ， 并 可 以 360 度 
旋转 观看 。 在 国内 的 微 信 等 社交 平台 上 ， 也 可 以 通过 HTML 5 技术 ， 接 入 扫描 好 的 3D 模 型 。 这 样 人 们 就 可 以 在 社交 了 网 站 上 炫耀 立体 的 自己 了 。 


利用 Intel Realsense 技 术 3D 重 建功 能 所 形成 的 3D 模 型 甚至 可 以 植 入 游戏 或 任何 虚拟 的 世界 。 例 如 ， 可 以 把 自己 或 朋友 进行 3D 扫 摘 后 建成 3D 模 型 ， 植 入 骨骼 点 ， 让 用 户 可 以 进入 虚拟 的 游戏 世界 ， 并 操 
纵 “ 自 己 ” 在 游戏 里 过 关 斩 将 ， 横 扫 干 军 ， 感 受 一 种 完美 的 游戏 代入 感 和 身 临 其 境 的 体验 感 。 用 户 也 可 以 将 现实 中 的 物体 扫描 后 带 入 虚拟 世界 ， 实 现 现 场 “ 穿 越 ”， 如 图 1-10 所 示 。 


图 1-10 Intel RealSense 3D 扫 描 人 脸 及 构建 虚拟 场景 


2. 沉 浸 式 协作 


当今 社会 ， 远 程 音 视频 交互 昌 已 普及 ， 但 由 于 时 空 限制 ， 远 程 的 物体 、 设 计 样 品 等 依然 不 可 触及 ， 相 互 交 互 的 人 和 要 讨论 的 内 容 更 是 要 分 在 不 同 的 视频 流 和 窗口 ， 这 使 交互 效果 大 打折 扣 。 而 借助 Inte 
RealSense 的 背景 切除 和 蔡 换 技术 ， 可 以 利用 实时 获得 的 深度 数据 ， 轻 松 地 将 用 户 和 背景 分 割 ， 先 进行 做 不 同 的 图 像 处 理 泻 染 ， 甚 至 替换 ， 然 后 再 无 颖 地 融合 在 一 起 ， 即 沉浸 式 交 互 ， 如 图 1-11 所 示 。 在 现 
实生 活 实 用 中 ， 老 师 可 以 一 键 把 自己 的 现实 背景 替换 成 讲课 内 容 的 幻灯 片 ， 并 可 以 把 自己 的 前 景 图 像 放大 、 缩 小 、 移 动 或 虚 化 。 这 样 他 可 以 把 自己 的 实时 头像 摆 放 到 需要 讲解 的 内 容 旁 边 ， 实 现 无 颖 融合 讲 


SLE Pa. 


解 。 这 种 背景 切除 技术 也 可 以 把 几 个 远程 用 户 同时 切割 并 融合 在 一 个 屏幕 中 。 同 事 们 可 以 同时 出 现在 一 个 屏幕 里 进行 实时 视频 会 议 ， 甚 至 要 讨论 的 内 容 也 可 以 融 在 同一 个 界面 中 ; 朋友 们 可 以 在 同一 个 屏幕 


В == 


里 讨论 购物 推荐 ， 或 玩 棋 牌 麻将 类 游戏 ; 家 人 们 可 以 在 同一 个 屏幕 分 享 度假 照片 当 人 在 海边 度假 的 用 户 需要 和 上 司 或 客户 视频 会 议 时 ， 甚 至 可 以 把 背景 切换 成 办 公 室 ， 造 成 真 假 时 空 的 对 接 。 


图 1-11 沉浸 式 交 互 示例 


3 .游戏 与 娱乐 
基于 Intel Realsense 技 术 提供 的 手势 识别 、 骨 骼 跟踪 等 功能 ， 您 可 以 无 接触 地 控制 虚拟 世界 里 的 玩偶 ， 在 游戏 里 畅游 ， 如 图 1-12 所 示 。 手 势 与 姿态 输入 功能 大 大 突破 了 游戏 手柄 有 限 的 交互 体验 ， 真 实 
的 场景 体验 给 用 户 带 来 了 极 大 游戏 的 乐趣 与 挑战 。 


图 1-12 Intel RealSense 带 来 的 真实 游戏 场景 体验 


不 仅 如 此 ，Intel RealSsense 的 3D 扫 朱 、 背 景 蔡 换 、 贴 图 等 功能 ， 使 得 增强 现实 应 用 的 实现 非常 便捷 。 例 如 ， 可 以 先 扫描 现实 场景 ， 然 后 将 虚拟 物体 放置 到 构建 好 的 立体 空间 中 ， 从 而 实现 真实 与 虚拟 的 
玛 加 ， 如 图 1-13 所 示 。 


图 1-13 ”虚拟 与 真实 场景 登 加 
4. 家 装 和 购物 


在 装修 装饰 行业 中 存在 与 房子 结构 及 装饰 格调 的 合拍 问题 ， 传 统 的 解决 方案 中 的 3D 建 模 与 模拟 都 是 工程 巨大 的 专业 任务 ， 对 于 这 个 问题 以 往 没有 很 好 的 解决 方法 。 同 样 购买 衣物 时 也 有 尺寸 合身 不 合身 
的 问题 。 有 了 Intel RealSsense 技 术 ， 这 些 个 性 定制 的 任务 变 得 简单 易 行 。 无 论 是 丈量 房屋 尺寸 还 是 成 像 建 模 都 可 以 采用 Intel RealSense 技 术 解 决 ， 因 为 SDK 里 的 Scene Perception 可 以 对 3D 摄 像 头 的 实时 
位 置 和 角度 跟踪 定位 ， 对 场景 进行 快速 建 模 ， 还 可 以 轻松 提供 实时 的 世界 3D 坐 标 ， 如 图 1-14 所 示 。 


5. 增 强 的 照片 和 视频 


Intel RealSsense 技 术 充分 利用 深度 图 像 信息 ， 可 以 提供 增强 照片 和 视频 的 能 力 ， 如 图 1-15 所 示 。 用 户 应 用 可 以 非常 方便 地 利用 不 同 的 深度 信息 ， 对 同一 画面 来 进行 焦距 重 置 、 尺 寸 丈 量 、 增 强 现实 贴图 
SANE, Intel RealSense 3D 摄 像 头 可 以 以 每 秒 60 帧 的 速度 实时 处 理 深 度数 据 ， 而 SDK 不 仅 可 以 对 静态 图 像 进行 上 述 处 理 ， 也 可 以 实时 地 处 理 视 频 流 ， 以 实现 视频 的 增强 处 理 。 
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Selectie Fillers 


图 1-15 增强 照片 示例 


6. 智 能 机 器 人 


智能 机 器 人 离 不 开 智 能 的 感知 装备 ，Intel RealSense 摄 像 头 正 是 机 器 人 人 迫切 需要 的 感知 装备 ， 如 图 1-16 所 示 。 有 了 可 以 集成 的 Intel RealSense 摄 像 头 ， 无 人 机 如 同 有 了 眼睛 ， 可 以 实时 地 观测 障碍 物 距 
离 以 进行 避 障 ， 甚 至 可 以 在 森林 里 自由 自在 地 飞翔 ， 使 得 无 人 机 在 紧急 救援 、 农 业 巡 查 、 矿 业 探测 ， 甚 至 快递 物流 等 领域 的 真正 使 用 了 可 能 。 


图 1-16 ”装载 Intel RealSense 摄 像 头 的 无 人 机 与 自主 车 


有 了 可 以 集成 的 Realsense 摄 像 头 ， 自 主 车 和 机 器 人 也 可 以 更 加 快速 地 进入 实用 阶段 ， 因 为 机 器 人 第 一 次 有 了 真正 意义 上 的 可 以 感知 探测 3D 真 实 世界 的 眼睛 。 例 如 ， 精 确 的 室内 导航 定位 是 机 器 人 能 
主 行 走 的 最 重要 的 前 提 。 现 在 绝 大 部 分 方案 都 是 采用 激光 雷达 扫描 定位 ， 成 本 很 高 ， 而 且 更 不 利 的 是 激光 雷达 扫描 的 是 与 之 平行 的 2D 平 面 ， 作 何不 在 这 个 平面 中 的 障碍 物 无 法 进入 激光 雷达 建立 的 2D 地 图 。 
例如 ， 激 光 雷 达 只 看 到 了 下 面 的 桌子 腿 ， 但 对 突出 的 桌面 一 无 所 知 。 这 意味 着 机 器 人 将 毫 无 知觉 地 一 头 撞 上 障碍 物 。 而 集成 了 RealSense 摄 像 头 的 机 器 人 感知 的 却 是 真实 的 三 维 世界 ， 它 可 以 利用 vSLAM 来 
精确 建立 三 维 地 图 并 实时 定位 ， 并 利用 脸 部 检测 和 识别 找到 自己 的 主人 ， 利 用 人 体 跟 踩 来 亦 步 亦 趋 地 跟随 主人 ， 还 能 利用 骨骼 检测 来 进行 肢体 交互 ， 利 用 语音 处 理 来 进行 语言 的 理解 和 语言 交互 。 这 才 使 得 
机 器 人 有 可 能 革命 性 地 与 人 类 真正 地 进行 交流 和 合作 。 


1.4 Intel RealSense SDK 功 能 特点 


Intel RealSense SDK 提 供 的 核心 功能 如 下 。 


1. 手 部 : 检测 、 关 节 识 别 、 手 势 定义 


. 检测 手 部 的 X、Y、Z 坐 标 位 置 


. 检测 手 部 方位 


. 识别 22 个 关节 骨架 


. 预定 义 手 势 


2. 团 块 (Blob) 检测 


同时 检测 4 个 团 块 


:端点 《最 近 、 中 心 、 上 部 等 检测 ) 


. 手 部 跟踪 、 替 代 选 项 


` 低 资源 消耗 


3. 无 接触 控制 


手势 控制 UI 


. 基于 手 部 的 跟踪 


.手势 与 UI 控 制 的 自动 映射 及 事件 触发 


4. 脸 部 分 析 


| 


上 


“ 脸 部 跟踪 


. 界 标 检测 


:识别 


.心率 估计 


5. 场 景 解析 


` 实时 跟踪 /定位 


.3D 立体 空间 /表面 重建 


离线 模式 〈 不 依赖 于 网 络 ) 


О 支持 8 种 语言 


实时 背景 检测 


8.3D 扫 描 


* 预制 位 扫描 


“3D 模型 快速 生成 


` 数据 通用 格式 


第 2 章 Intel RealSense SDK 编 程 基础 


本 章 内 容 主 要 围绕 SDK 编 程 框 架 的 基本 要 素 展 开 。 首 先 介绍 如 何 搭建 SDK 软 硬件 开发 环境 ， 之 后 介绍 SDK 架 构 、 数 据 流 处 理 流程 、I/O 设 备 操作 、 坐 标 系 转换 等 基础 编程 方法 。 


21 ”编程 准备 


1. 软 硬件 准备 
SDK 需 要 配置 以 下 硬件 平台 和 软件 。 
(1) 硬件 要 求 
1) 基于 英特尔 Haswell 微 架构 的 第 四 代 英 特 尔 核 心 处 理 器 
2) 8GB 可 用 硬盘 空间 
3) Intel RealSense 摄 像 头 (连接 USB 3.0 端 口 ) 
(2) 软件 要 求 


1) Microsoft Windows 8.1 或 10 (64 位 ) 


2) Microsoft Visual Studio 2010~ 2015 最 新 服务 包 
3) 微软 .NET 4.0 C# 开 发 框架 
4) Unity PRO 4.1.0 或 更 高 版 本 
5) Unity 4.6.3 补 丁 1 (可 以 采用 个 人 版 ) 
6) 以 下 任何 JavaScript 开 发 浏览 器 : 
- 微软 IE 11.0.9600 
- 微软 edge 20.10240.16384.0 
- 谷歌 Chrome 42.0.2311 
- Mozilla Firefox 37.0 
7) Processing 2.1.2 或 更 高 版 本 
8) Java JDK 1.7.0_11 或 更 高 版 本 的 Java 开 发 工具 
9) OpenCL 1.2 所 需 的 场景 感知 和 提高 摄影 摄像 模块 
2.SDK 的 安装 
SDK 的 安装 ， 需 要 完成 下 列 步骤 : 
1) 从 http://www.intel.com/software/perceptual 下 载 并 运行 SDK 的 安装 程序 。 
2) 您 将 看 到 一 个 欢迎 屏幕 ， 请 按照 提示 完成 安装 过 程 。 
提示 默认 情况 下 ，SDK 安 装 到 C:/Program Files (x86) /英特尔 /rssdk 目 录 下 。 
3) 安装 后 ， 按 照 提示 重新 启动 系统 。 这 一 步 是 设置 所 有 环境 变量 的 关键 。 
3. 设 置 摄像 头 
要 安装 摄像 头 ， 需 要 完成 以 下 步骤 。 如 果 摄 像 头 已 经 集成 到 计算 机 或 笔记 本 电脑 中 ， 则 可 跳 过 本 步骤。 
1) 在 计算 机 或 笔记 本 电脑 盖 顶 部 安装 摄像 头 。 


2) 把 摄像 头 USB 连 线 插 入 其 中 的 一 个 USB 3.0 端 口 ， 如 图 2-1 所 示 。 


图 2-1 连接 摄像 头 


3) 将 背部 靠 着 椅子 ， 使 自己 放松 ， 让 双手 可 以 在 镜头 前 自由 地 移动 。 


检查 是 否 正 确 安装 SDK 和 摄像 头 的 步骤 如 下 : 
1) 从 启动 菜单 中 选择 Intel RealSense SDK 一 Tools 一 Camera Explorer， 启 动 摄像 头 浏览 器 (Camera Explorer) MA. 
2) 屏幕 看 起 来 如 图 2-2 所 示 。 可 以 单 击 摄像 头 选项 卡 来 查看 视频 流 (彩色 空间 ) 和 深度 数据 流 ， 如 图 2-3 所 示 。 


如 果 您 的 屏幕 看 起 来 像 图 2-2 中 所 示 的 那样 ， 表 明 摄 像 头 已 正常 工作 。 


Camera Explorer 


Imtel RealSense™ 3D 
Camera (F200) 


= not connected 


intel” RealSense™ 3D 
Camera (R200) 


"ын | 
=a - Color stream - exclusive streaming enabled 


- Depth stream - exclusive streaming enabled 
- Left stream - exclusive streaming enabled 
= Right stream = exclusive streaming enabled 


| 
| 
| 
| 
| 
| 
| 
| 


图 2-2 摄像头 选择 界面 


4. 配 置 开发 环境 
(1) 配置 C++ 开发 环境 
SDK 提 供 以 下 两 种 方式 安装 C++ 开 发 环境 : 
` 为 易于 集成 ， 应 用 程序 可 以 使 用 集成 属性 表 (Property Sheets) 。 
` 为 增加 灵活 性 ， 应 用 程序 可 以 直接 利用 项 目 设置 (Project Settings) 。 


(2) 配置 C# 开 发 环境 


1) SDK 通 过 以 下 两 个 动态 链接 库 (DLL) 提供 了 C# 接 口 ， 并 支持 Microsoft.NET framework 4.0, 


Caor беа 


Баука 


тие В w 


тг La; k P. а. 
Сог Мч 


[мен Sree 
oe 


нуу Бега» 


Depth ги 


Rendena Сарт 
| | Mirror 

Mesh 

| 1 ш 

VT eture 

[че | Gamma 


й‹ G; va 
® Ф 


Close 


图 2-3 ”数据 流 选 择 界 面 


- C#DLL: libpxcclt.cs.dll 
+ C++P/Invoke DLL: libpxccpp2c.dll 

按 以 下 步骤 来 添加 DLL (以 微软 Visual Studio 2010~ 2012 环 境 为 例 ) : 

@ 创 建 一 个 新 项 目 或 打开 一 个 已 有 项 目 。 

@ 在 解决 方案 资源 管理 器 中 ， 右 键 单 击 “ 项 目 名 称 ”， 然 后 选择 “添加 引用 ”选项 。 

@ 添 加 $(RSSDK_DIR)/bin/win32/libpxcclr.cs.dl| 或 者 $(RSSDK_DIR)/bin/x64/libpxcclr.cs.dll 作 为 引用 。 


一 个 众所周知 的 局 限 是 微软 Visual Studio 无 法 同时 处 理 32 位 和 64 位 的 引用 ， 因 此 ， 应 用 程序 必须 在 构建 一 个 不 同 的 目标 之 前 显 式 地 修改 引用 。 用 户 可 以 在 Intel RealSense 技 术 论 坛 中 查看 可 能 的 解决 方 


如 果 应 用 程序 设置 了 Copy Local=True， 则 必须 手动 把 libpxccpp2c.dll 复 制 到 本 地 目录 。 

2) 自 定 义 库 。 

可 以 自 定 义 C# 封 装 库 来 添加 任何 缺少 的 功能 ， 例 如 对 于 一 些 C# 应 用 所 需 的 格式 转换 功能 。libpxcclr.cs.dll 的 源 代码 存放 在 $(RSSDK_DIR)/framework/common/pxcclr.cs 目 录 下 。 
添加 自 定义 库 的 步骤 如 下 : 

@@ 单 击 libpxcclr.cs vs2010-15.slIn， 启 动 解决 方案 。 

@ 修 改 代码 以 添加 任何 缺少 的 功能 。 

在 bin 下 建立 和 保存 重建 好 的 libpxcclr.cs.dll 库 。libpxccpp2c.dll 的 源 代码 位 于 $(RSSDK_DIR)/framework/common/pxcclr.cs.。 

@ 单 击 相应 解决 方案 文件 启动 解决 方案 ,例如 libpxccpp2c_vs2012.sIn。 


@ 修 改 代 码 ， 添 加 任何 缺失 的 功能 。 


@ 在 本 地 bin 目 录 下 建立 并 保存 libpxccpp2c.dll。 

(3) 配置 Unity 开 发 环境 

完成 下 列 步骤 来 配置 Unity 游 戏 应 用 程序 开发 的 环境 : 

1) 创建 一 个 新 的 unity 项 目 。 

2) 引进 Unity 包 装 $(RSSDK_DIR)/framework/UnityUnityCSharp.unitypackage， 或 按 以 下 步骤 操作 。 
@@ 在 Assets 目 录 下 创建 一 个 Plugins 目 录 。 

©M$(RSSDK_DIR)/bin/win32 to Plugins\x86 复 制 以 下 文件 。 

“ libpxccpp2c.dll: 这 个 文件 是 P/Invoke 的 SDK 函 数 库 。 

` libpxccpp2c.dll.signature: 这 是 一 个 使 能 Unity v4.6.3p1 个 人 版 的 签名 选项 文件 。 

G@ 从 $(RSSDK DIR)/bin/x64 to Plugins\x86 64 复 制 以 下 文件 。 

` libpxccpp2c.dll: 这 个 文件 是 P/Invoke 的 SDK 函 数 库 。 

` libpxccpp2c.dll.signature: 这 是 一 个 使 能 Unity v4.6.3p1 个 人 版 的 签名 选项 文件 。 

@ 从 $(RSSDK_DIR)/bin/win32 或 者 $(RSSDK_DIR)/bin/x64 及 $(RSSDK_DIR)/framework/common/pxcclr.cs/src 复 制 以 下 文件 。 
+ libpxcclr.unity.dll: 这 个 文件 是 Unity 的 SD 区 函数 包装 。 

:pxcmdefs.extensions.cs: 可 选 文件 ， 提 供 了 额外 的 类 型 扩展 功能 。 

可 以 通过 自 定 义 的 支持 库 来 添加 任何 缺失 的 功能 用 于 Unity 应 用 程序 ， 例 如 某 些 格式 转换 国 数 。 

库 libpxcclr.unity.dll 源 代码 在 $(RSSDK_DIR)/framework/common/pxcclr.cs. 下 。 

1) 单 击 libpxcclr.unity vs2010-15.sIn 启 动 解决 方案 。 

2) 修改 代码 ， 添 加 任何 缺失 的 功能 。 

3) 在 本 地 bin 目 录 下 建立 并 保存 libpxcclr.unity.dll， 以 重建 library。 

库 libpxccpp2c.dll 源 代码 在 $(RSSDK_DIR)/framework/common/pxcclr.cs 下 。 

1) 单 击 相应 解决 方案 文件 启动 解决 方案 ， 例 如 libpxccpp2c_vs2012.sIn。 

2) 修改 代码 ， 添 加 任何 缺失 的 功能 。 

3) 在 本 地 bin 目 录 下 建立 并 保存 库 libpxccpp2c.dll。 

上 述 对 于 插件 的 功能 定制 适用 于 Unity Pro 版 本 。 

(4) 配置 Processing 处 理 开 发 环境 

通过 以 下 步骤 来 设置 Processing 应 用 程序 开发 的 环境 : 

1) 复制 $(RSSDK_DIR)/framework/Processing/libraries 下 的 所 有 文件 到 Processing sketch 目 录 。 
2) 在 Processing sketch 引 入 名 为 import intel.rssdk.* 的 SDK。 

(5) 配置 Java 开 发 环境 

1) 安装 Java 环 境 ， 复 制 $(RSSDK_DIR)/framework/common/pxcclr.java/bin/ 下 所 有 的 文件 到 Java 应 用 程序 目录 。 
2) 在 Java 应 用 里 引入 名 为 import intel.rssdk.* 的 SDK。 


3) 使 用 以 下 脚本 构建 和 运行 应 用 程序 : 


javac -classpath libpxcclr.java.jar *.java 
java -classpath libpxcclr.java.jar;. <java-class> 


其 中 ，<java-class> 是 应 用 的 主 Java 类 。 
(6) 配置 JavaScript 开 发 环境 

对 于 JavaScript 应 用 开发 没有 特殊 的 设置 。 

在 Javascript 应 用 中 引用 以 下 库 。 
- Promise: 如 果 浏 览 器 本 身 不 支持 Promise， 可 以 从 https://www.promisejs.org/polylls/promise-done-6.0.0.min.js 下 载 。 
` autobahn: 可 以 从 许多 浏览 网 站 下 载 ， 如 https://autobahn.s3.amazonaws.com/autobahnjs/latest/autobahn.min.jgz。 


$CRSSDK_DIR) /framework/common/JavaSctipt/realsense.jso 


2.2 Intel RealSense SDK 架 构 


2.2.1 SDK 架构 


SDK 架 构 由 多 层 部 件 组 成 ， 如 图 2-4 所 示 。 最 核心 SDK 功 能 为 输入 /输出 (I/O) 模块 和 算法 模块 。1/O 模 块 用 于 获得 输入 设备 的 信号 或 者 输出 信息 到 相应 设备 。 算 法 模块 包括 各 种 模式 检测 和 识别 算法 ， 
作为 创新 性 人 机 体验 的 重要 手段 ， 例 如 人 脸 识别 、 手 势 识别 、 语 音 识 别 、 文 字 转 语音 等 。 

SDK 对 1/O 模 块 和 算法 模块 进行 标准 化 ， 使 得 应 用 程序 可 以 不 用 关心 底层 实现 而 轻松 获得 所 需 功 能 。 某 些 SDK 接 口 可 能 存在 共存 的 多 重 实现 。SDK 可 以 从 各 种 算法 模块 中 对 某 个 特定 实现 进行 搜索 或 者 创 
建 某 个 算法 的 实例 。SDK 的 语言 与 架构 封装 如 图 2-5 所 示 。 


SDK 应 用 SDK zf]. у, 


Processlng Java 


接口 接口 


SDK 接口 


SDK 核心 
Fi Í 天 管 HH 
流水 线 执行 互 操作 


多 个 形态 


图 2-4 ”SDK 架构 


C#/Unity: Java/Processing 
PXCMSession PXCMSession 
PACMCapture РАСМСаршге 
PXCMHandModule PXCMHandModule 
PXCMFaceModule PXCMFaceModule 


C++ & П 


PXCSession, PXCCapture, PXCHandModule, PXCFaceModule 


92-5 ”SDK 语 言 与 框架 封装 


23 ”原始 数据 流 获 取 和 处 理 


这 一 节 将 介绍 获取 和 处 理 原始 视频 流 和 音频 流 的 常见 任务 。 
1. 获 取 单 个 彩色 或 深度 流 
SenseManager 接 口 实现 |/O 设 备 配 置 和 获取 数据 流 ， 可 以 采用 过 程 调用 或 事件 回调 方法 来 使 用 该 接口 。 
(1) 采用 过 程 调用 获取 彩色 图 像样 本 
例 2-3 说 明了 如 何 采 用 过 程 调用 获取 彩色 图 像样 本 。 
1) 使 用 EnableStream 函 数 选 择 一 个 彩色 流 ， 再 利用 Init 浮 数 初 始 化 流水 线 。 
2) 在 循环 中 使 用 AcdquireFrame 函 数 来 等 待 彩 色 图 像 采 样 到 达 ， 然 后 通过 QuerySample 进 行 获取 。 
3) 使 用 ReleaseFrame 冰 数 释放 这 一 帧 ， 并 等 待 下 一 个 样本 。 
4) 利用 Close 函 数 进行 清理 过 程 。 


可 以 使 用 CaptureManager 接 口中 的 过 滤 函 数 (如 FilterByDevicelnfo) 来 自 定 义 数 据 流 选择 过 程 ， 例 如 选择 一 个 指定 的 摄像 头 ; 也 可 使 用 QueryCaptureManager 国 数 (或 者 captureManager 属 性 ) 
来 获取 CaptureManager 接 口 实例 。 


12-3 采用 过 程 调用 获取 彩色 图 像样 本 


// 创建 PXCMSenseManager 实 例 

PXCMSenseManager sm=PXCMSenseManager.CreateInstance (); 
// 选择 彩色 数据 流 
sm.EnableStream (PXCMCapture .StreamType .STREAM TYPE COLOR, 640,480); 
// 初始 化 流 样本 

sm. . 

för (z;) 

// atik kaja 彩色 样本 到 达 
if (sm.AcquireFrame (true). 
// 获取 样本 
PXCMCapture.Sample sample=sm.QuerySample (); 

// 对 图 像 sSample .color 进 行 操作 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 
// 获取 下 一 个 样本 


sm.ReleaseFrame (); 


isError()) break; 


} 
// 清理 过 程 
sm.close () ; 


(2) 利用 事件 回调 获取 深度 样本 
例 2-4 展 示 了 如 何 使 用 SenseManager 接 口 的 事件 回调 函数 来 获取 60 fps 的 深度 样本 ， 其 中 主要 过 程 是 创建 事件 处 理 程序 和 调用 StreamFrame 遂 数 。 


例 2-4 利用 SenseManager 的 事件 回调 函数 获取 深度 样本 


class МуНапа1ег implements PXCMSenseManager.Handler { 
// 注册 事件 处 理 程序 
public pxcmStatus OnNewSample (int mid, PXCMCapture.Sample sample) { 
// 对 sample.color 进 行 操作 
http://www. hzcourse. . com/ resource/ readBook?path=/openresources/teach ebook/uncompressed/15635/0 
// 返回 NO ERROR 继 续 ; 如 有 错误 则 退出 循环 
return pxcmStatus .PXCM STATUS МО ERROR; 
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} 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teact 


}; 

// 创建 SenseManager 实 例 

PXCMSenseManager sm=PXCMSenseManager .CreateInstance (); 
// 在 320x240x60fps 启 动 深度 流 
sm.EnableStream(PXCMCapture.StreamType.STREAM TYPE DEPTH, 320,240, 60); 
// 初始 化 事件 处 理 器 

MyHandler handler=new MyHandler () ; 

sm.Init (handler); 

// 深度 流 样本 

sm.StreamFrames (true); 

// 清理 过 程 

sm.close () ; 


采集 非 对 齐 的 彩色 和 深度 样本 
例 2-5 展 示 了 如 何 采集 非 对 齐 的 彩色 和 深度 样本 。 例 子 中 ， 当 采样 数据 准备 好 时 ，SenseManager 单 独处 理 某 个 数据 流 的 每 个 样本 。 每 个 数据 流 可 能 以 不 同 的 帧 率 呈 现 样本 。 例 2-5 做 了 如 下 工作 : 
1) 使 用 Enablestream 函 数 选择 彩色 和 深度 流 ， 然 后 使 用 Init 函 数 初 始 化 处 理 流水 线 。 
2) 在 循环 中 ， 使 用 AcquireFrame 函 数 ifall=false 来 等 待 样本 到 达 并 读 取样 本 。 
3) 使 用 QuerySample 函 数 获取 样本 ， 并 检验 彩色 和 深度 样本 相应 的 状态 和 过 程 。 
4) 使 用 ReleaseFrame 函 数 释放 当前 帧 ， 并 读 取 下 一 个 样本 。 
5) 使 用 Close 函 数 清理 过 程 。 


例 2-5 利用 SenseManager 捕 捉 非 对 齐 的 彩色 和 深度 数据 


// 创建 SenseManager 实 例 

PXCMSenseManager sm=PXCMSenseManager .CreateInstance (); 
// 选择 彩色 和 深度 流 
sm.EnableStream(PXCMCapture.StreamType.STREAM TYPE COLOR, 640, 480,30); 
sm.EnableStream (PXCMCapture.StreamType.STREAM TYPE DEPTH, 320,240,30); 
// 初始 化 流 样本 

sm.Init(); 


for (;;) { 
// 该 函数 阻塞 直到 有 样本 到 达 
if (sm.AcquireFrame (false) .isError()) break; 
// 获取 样本 
PXCMCapture.Sample sample=sm.QuerySample (); 
if (sample!=null) í 


// 对 彩色 样本 进行 操作 
http: //www.hzco 


1 


/7 对 深度 样本 进行 操作 
http://www.hzco 


} 
} 


(sample.color 


!=nul1) 


(sample .depth 


// 获取 下 一 样本 


sm.ReleaseFrame () ; 


} 
// 


sm. 


清理 过 程 


close () ; 


!=п011) 


{ 


{ 


urse.com/resource/readl 


urse.com/resource/readl 
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同样 可 以 使 用 StreamFrame 函 数 和 SenseManager 事 件 回调 实现 获取 非 对 齐 彩 


例 2-6 利用 SenseManager 事 件 回调 获取 彩色 和 深度 样本 


class MyHandler implements PXCMSenseManager.Handler { 


}; 


public pxcmStatus OnNew] 


LE 


} 


// ”返回 NO ERROR 继 续 ; 
return pxcmStatus.PXCM STATUS NO 1 


) 


(sample .Color 


!=null) 


// 对 彩色 样本 进 和 
http://www.hzco 


(sample.depth 


了 操作 


!=п011) 


// 对 深度 样本 进行 操作 


http: //www.hzco 


// 创建 SenseManager 实 例 


PXCMSenseManager sm=PXCMSenseManager.Creat 


// 选择 彩 色 和 深度 流 


Sm .了 
sm. E 


// 


sm 
// 


sm. 


// ў 


sm. 


例 2-7 展 示 了 如 何 采 集 


кпар1еб51 


Enables! 


tream (PXCMCap 


ture.S 


tream (PXCMCap 


初始 化 处 理 器 
MyHandler handler=new МуНапа1ег () ; 


.Init (handler); 


生成 样本 流 


StreamFrames (true); 


例 2-7 的 具体 工作 如 下 : 


ture.S 


{ 


{ 


urse.com/resource/readl 


urse.com/resource/read 


[mage (int mid, PXCMCapture.Sample sample) { 


色 和 深度 


Book?path=/openresources/teach ebook/uncompressed/15635/0 


度 样本 ， 如 例 2-6 所 示 。 


СтеашТуре.5Т 
сгеатТуре.5Т 


对 齐 的 彩色 和 深度 样本 。 


有 错误 则 退出 循环 
ERROR; 


该 例子 在 同步 了 两 种 数据 帧 的 到 达 时 间 之 后 立 


eInstance () ; 


REAM TYPE COLOR, 640, 480, 30) ; 
REAM TYPE DEPTH, 320, 240, 30) ; 


刻 处 理 数据 。 


1) 使 用 EnableStream 函 数 选 择 彩 色 和 深度 流 ， 之 后 利用 Init 消 数 初始 化 处 理 流水 线 。 


2) 在 循环 中 ，AcduireFrame 函 数 采 用 ifall=true 选 项 来 等 


3) 用 QuerySample 函 数 获 取 彩 色 和 深度 样本 。 


4) 用 ReleaseFrame 函 数 释放 帧 ， 并 等 竺 


5) ВСіоѕер& 0+ 


12-7 Ж 


行 清理 。 


集 对 齐 的 彩色 和 深度 样本 


// 创建 一 个 SenseManager 实例 


PXCMSenseManager sm=PXCMSenseManager.Creat 


// 选择 彩色 和 深度 数据 流 


sm. 
sm. 


Enables 


tream (PXCMCap 


Enables 


tream (PXCMCap 


// 初始 化 数据 流 


Sm. 


sm. 


可 以 使 用 StreamFrames 函 数 和 SenseManager 事 件 回调 来 采集 彩色 和 


for 


a 
(; 


if (sm.AcquireFrame (true). 


Спге.5 


Спге.5 


сгеатТуре.5Т 
treamType.ST 


;) 
// 这 人 14 + Sutipa sa) 样本 准备 好 


i 


sError()) р 


// 获取 样本 


PXCMCapture.Sample sampl 
// 在 样本 上 进行 处 理 : 


http://www.hzcourse.com/resource/read] 


// 准备 下 一 帧 处 理 


sm.ReleaseFrame () ; 


} 
// 清理 


close () ; 


вашр1 


e=sm.QuerySampl 
e.color & sampl 


reak; 


e(); 
e.dep 
Book?pa 


读 取 下 一 个 样本 。 


еїІпѕіапсе () ; 


REAM TYPE COLOR, 640, 480, 30) ; 
REAM TYPE DEPTH, 320,240, 30) ; 


th 


th=/openresources/teach ebook/uncompressed/15635/0 


待 所 有 流 的 样本 都 准备 好 。 


例 2-8 利用 SenseManager 回 调 函 数 获取 对 齐 的 彩色 和 深度 样本 


和 深度 样本 ， 如 例 2-8 所 示 。 


EBPS/Text/. 


.http://www.hzcourse.com/resource/read] 


EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresourc 


EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresourc 
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Book?path=/openresources/teact 


class МуНапа1ег implements PXCMSenseManager.Handler { 
pxcmStatus OnNewSample (int mid, PXCMCapture.Sample sample) 
在 sample.color 和 sample.depth 样 本 上 处 理 


}; 


public 
// 
ht 
// 返 回 NO ERROR 继 续 ; 
rec 


) 


// 创建 一 个 SenseManager 实例 


PXCMSenseManager sm=PXCMSenseManager.Createl 


tp://www.hzcourse.com/resource/readl 


如 果 出 错 则 报错 并 放弃 


urn pxcmStatus.PXCM STATUS NO ERROI 


// 选择 彩色 和 深度 数据 流 


PXCMVideoModule.Da 
ddesc.deviceInfo.streams=E 


sm.EnableStreams (ddesc) ; 


// 


сыл hand] 
m. Init (handler); 


// 


sm 


sm 


初始 化 处 


流 式 处 理 


. StreamF 
// 清 


.Close () ; 


理 


理 器 handler 


rames (true) ; 


4. 启 动 强力 同步 化 


mumsSet .of 


Ler=new MyHandler () ; 


R; 


Book?path=/openresources/teach ebook/uncompressed/15635/0! 


{ 


nstance (); 


taDesc ddesc=new PXCMVideoModule.DataDesc () ; 
(PXCMCapture.StreamType.STREAM ТҮР] 


Е СОТОК, PXCMCapture.StreamType.STR 


ЕАМ ТҮРЕ | 


ЕРТН); 
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SDK 支 持 基 于 硬件 的 彩色 和 深度 流 同 步 ， 可 以 产生 成 对 的 拥有 相近 时 间 戳 的 彩色 和 深度 样本 。 这 种 同步 环节 在 很 多 应 用 场合 非常 有 用 ， 例 如 3D 背 景 分 割 。 


可 以 利用 STREAM_OPTION _ STRONG STREAM _SYNKC 选 项 来 启动 强力 同步 化 。 选 项 必须 设置 对 所 有 需要 同步 的 数据 流 生效 ， 否 则 该 选项 将 被 忽略 。 红 庸 置 恬 ， 这 些 流 需要 拥有 相同 的 帧 率 。 例 如 需 
同步 彩色 和 深度 流 ， 就 可 以 利用 Enablestreams 函 数 对 彩色 和 深度 流 同 时 指定 这 个 选项 ， 如 例 2-9 所 示 。 


Е “以 摄像 头 F200 为 例 ， 如 果 有 应 用 程序 请 求 启动 强力 同步 化 ， 系 统 将 会 有 明显 的 停顿 并 重启 摄像 头 流 。 因 此 ， 只 有 当 确 实 需要 时 才 使 用 强力 同步 化 。 


12-9 ”通过 强力 同步 获取 对 齐 的 彩色 和 深度 样本 


// 创建 一 个 SenseManager 实例 

PXCMSenseManager sm=PXCMSenseManager .CreateInstance (); 

// 选择 彩色 和 深度 流 

PXCMVideoModule.DataDesc ddesc=new PXCMVideoModule.DataDesc () ; 
ddesc.deviceInfo.streams=EnumSet .of (PXCMCapture.StreamType.STREAM TYPE COLOR, PXCMCapture.StreamType.STREAM ТҮРЕ DEPTH) ; 
ddesc.streams.color.options=EnumSet .Of (PXCMCapture.Device.StreamOption.STREAM OPTION STRONG STREAM SYNC); 
ddesc.streams .depth.options=EnumSet .Of (PXCMCapture.Device.StreamOption.STREAM OPTION STRONG STREAM SYNC); 
sm.EnableStreams (ddesc); 


// 初始 化 
sm.Init(); 
к^ 
// 函数 保持 阻塞 直到 采样 数据 准备 好 
if (sm.AcquireFrame (true) .isError()) break; 
// 获取 样本 


PXCMCapture.Sample sample=sm.QuerySample (); 

// 在 sample.color 和 sample.depth 样 本 上 处 理 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 
// 获取 下 一 帧 数据 


sm.ReleaseFrame (); 


} 
// 清理 


sm.close () ; 


5. 采 集 未 矫正 数据 流 


SDK 支 持 R200 摄 像 头 采 集 未 矫正 的 数据 流 。 矫 正 是 修正 镜头 失真 以 及 对 齐 的 过 程 。 未 矫正 的 数据 流 是 从 摄像 头 传感器 得 来 的 原始 图 像 。 


SDK 利 用 STREAM_OPTION_UNRECTIFIED 选 项 识别 未 矫正 的 数据 流 配置 (参见 StreamProle 结 构 ) 。 如 果 没有 指定 这 个 命令 选项 ， 数 据 流 默 认 配 置 为 采用 矫正 。 可 以 指定 
STREAM_OPTION_UNRECTIFIED 选 项 获取 一 个 未 矫正 数据 流 ， 如 例 2-10 所 示 。 


注 不 是 所 有 的 R200 算 法 模块 都 支持 未 矫正 数据 流 ， 只 有 当 需 要 时 才能 使 用 这 种 方式 。 
可 以 通过 QueryStreamProjectionParametersEx 函 数 指定 STREAM_OPTION_UNRECTIFIED 选 项 来 获取 未 矫正 摄像 头 标定 参数 。 


例 2-10 ”获取 未 校正 彩色 样本 


void CaptureAlignedColorDepthSamples() { 
// 创建 一 个 SenseManager 实例 
PXCMSenseManager sm=PXCMSenseManager .CreateInstance (); 
// 选择 彩色 和 深度 流 
PXCMVideoModule.DataDesc ddesc=new PXCMVideoModule.DataDesc () ; 
ddesc.deviceInfo.streams=EnumSet .of (PXCMCapture .StreamType .STREAM_ TYPE COLOR); 
ddesc.streams.color.options=EnumSet .Of (PXCMCapture.Device.StreamOption.STREAM OPTION ОМКЕСТТЕТЕР); 
sm.EnableStreams (ddesc); 
// 初 始 化 
sm.Init(); 
for (;;) { 
if (sm.AcquireFrame (true) .isError()) break; 
// 获取 样本 
PXCMCapture.Sample sample=sm.QuerySample (); 
// 在 sample.color 上 进行 处 理 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/t 
// 进行 下 一 帧 准备 


sm.ReleaseFrame () ; 


} 
// 清理 


sm.close (); 


6. 记 录 和 回放 
可 以 记录 任何 流 序 列 到 文件 ， 并 在 之 后 播放 这 些 流 文 件 。 
启动 文件 记录 和 回放 需要 的 工作 如 下 : 
1) 在 CaptureManager 实 例 中 使 用 SetFileName 函 数 。 
2) 在 记录 模式 ， 提 供 一 个 文件 名 并 设 定 为 记录 模式 。 
3) 在 回放 模式 ， 提 供 一 个 文件 名 并 设 定 为 非 记 录 模 式 。 
SDK 对 文件 名 没有 限制 ， 但 在 记录 模式 中 文件 必须 是 可 写 的 。 
Е ”可 以 利用 QueryCaptureManager 函 数 获取 一 个 CaptureManager 实 例 。 
例 2-11 展 示 了 如 何 记录 和 回放 已 采集 的 彩色 样本 。 


E ”在 记录 过 程 中 ， 样 本 按 应 用 程序 所 处 理 后 的 状态 记录 到 硬盘 。 如 果 应 用 程序 采集 未 对 齐 的 彩色 和 深度 样本 ， 那 么 在 硬盘 上 的 样本 就 是 未 对 齐 的 。 如 果 应 用 程序 使 样本 对 齐 ， 那么 在 硬盘 上 的 样本 就 
是 已 对 齐 的 。 


例 2-11 利用 SenseManager 进 行 彩色 数据 流 的 记录 和 回放 


void RecordORPlayback (string file, boolean record) { 
// 创建 一 个 SenseManager 实例 
PXCMSenseManager зэп=РХСМбепѕеМападег.СгеаёеІпѕіапсе (); 
// 设置 文件 记录 和 回放 
sm.QueryCaptureManager () .SetFileName (file, record); 
// 选择 彩色 数据 流 
sm.EnableStream(PXCMCapture.StreamType.STREAM TYPE COLOR, 640,480,0); 
// 初始 化 并 记录 300 帧 
sm.Init(); 

for (int 1=0;1<300;1++) í 

if (sm.AcquireFrame (true) .isError()) break; 


// 获取 样本 


PXCMCapture.Sample sample=sm.QuerySample (); 

// 在 sample.color 上 进行 处 理 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OE!] 
// 进行 下 一 帧 数据 处 理 准备 

sm.ReleaseFrame (); 
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) 
// 清理 
sm.close () ; 


) 


7. 回 放 模 式 


可 以 按 以 下 配置 SDK 的 文件 回放 操作 : 


7 z = 
бағ TRA ТШЕ: 


ЕШ: ТИШ 
如 果 为 真 ， 在 图 像 帧 的 表现 时 刻 回 放样 本 ( 即 根 据 样 本 时 间 
台 )。 如 果 为 假 ， 立 即 回放 样本 


SetRealtime true 


如 果 想 要 精确 定位 回放 中 的 任意 帧 ， 可 以 选择 pause=true 和 realtime=false。 例 2-12 展 示 了 如 何 基于 帧 索引 精确 获取 帧 数据 。 


例 2-12 精确 帧 定位 


// 创建 SenseManager 实 例 
PXCMSenseManager sm = PXCMSenseManager.CreateInstance(); 
// 设置 回放 文件 名 称 
sm.QueryCaptureManager () .SetFileName (filename, false); 
// 启动 流 和 初始 化 
sm.EnableStream(PXCMCapture.StreamType.STREAM TYPE COLOR, 0, 0); 
sm.Init(); 
// 设置 realtime=true 和 pause=false 
sm.QueryCaptureManager () .SetRealtime (false); 
sm.QueryCaptureManager () .SetPause (true) ; 
// 流 循环 
for (int i = 0; i < nframes; i+=3) í 
// 设置 在 每 3 帧 数据 上 进行 操作 
sm.captureManager.SetFrameByIndex (i); 
sm.FlushFrame () ; 
// 等 待 帧 到 达 
pxcmStatus sts = sm.AcquireFrame (true); 
if (sts < pxcmStatus.PXCM STATUS NO ERROR) break; 
// 获取 样本 并 进行 操作 ， 图 像 在 sample.color 中 
PXCMCapture.Sample sample = sm.QuerySample (); 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0 
// 等 待 处 理 下 一 帧 
sm.ReleaseFrame (); 


) 
// 清除 


sm.close () ; 


тй 


EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teactk 


8. 文 件 压缩 


在 磁盘 上 记录 原始 彩色 和 深度 图 像 数据 会 给 系统 增加 巨大 的 负担 。 举 个 例子 ， 假 设 彩色 分 辨 率 配 置 为 RGB32x1920x1080x30fps， 深 度 分 辩 率 配置 为 640x480x30fps，SDK 需 要 大 约 272MB/s 的 磁盘 
IO 带宽 来 写 入 数据 。 这 个 要 求 使 得 大 多 数 旋转 磁盘 和 某 些 缓慢 的 SSD 无 法 进行 文件 记录 。 


为 了 解决 这 个 问题 ，SDK 开 发 了 一 个 试验 性 的 功能 ， 即 在 数据 写 入 磁盘 之 前 对 其 进行 压缩 。 这 个 压缩 功能 采用 H.264 (I-frame only,constant ОР) 进行 彩色 图 像 编 码 和 Lempel-Ziv- 
Oberhumer (LZO) 进行 深度 图 像 编 码 。 压 缩 率 在 彩色 图 像 数 据 上 大 约 为 10:1， 在 深度 图 像 数据 上 为 2:1。 而 相 比 之 前 例子 的 高 写 入 带宽 要 求 ， 磁 盘 /O 带 宽 可 降低 为 32MB/s。 


文件 压缩 功能 要 求 系统 具有 如 下 配置 : Intel Iris Graphics 和 最 新 的 Intel Iris Graphics 驱 动 。 


需要 设置 以 下 注册 项 来 控制 文件 记录 功能 


Windows Registry Editor Version 5.00 

[HKEY CURRENT USERNSOFTWARENIntelNRSSDKNFileRecording] 
"DisableH264Compression"=dword:0 

"H264 QPI"=dword:8 

"DisableLZOCompression"=dword: 0 


SDK 默 认 H.264 压 缩 在 彩色 图 像 流 中 应 用 ，LZO 在 其 他 数据 流 中 应 用 。H.264 ОРІ (l-frame quantization parameter) 取 值 范围 为 0 (最 小 压缩 ) 到 50 (最 大 压缩 ) 。 一 个 利用 H.264 压 缩 的 记录 文件 
只 能 在 安装 Intel Iris Graphics 的 系统 中 播放 。 


SDK 文 件 的 记录 和 回放 功能 有 以 下 限制 : 
1) 文件 记录 可 能 会 影响 应 用 程序 运行 时 间 ， 而 组 织 数据 并 写 入 磁盘 也 是 较 重 的 工作 负载 ， 因 此 只 有 在 必要 的 时 候 才 启用 文件 记录 。 


2) 计时 程序 在 实时 回放 模式 下 计算 数据 流 的 准确 呈现 时 间 ， 故 对 运行 时 间 敏 感 。 因 此 如 果 系 统 在 重负 载 时 ， 文 件 回放 程序 可 能 会 跳 帧 播放 。 为 了 保证 数据 帧 的 准确 回放 ， 应 关闭 实时 模式 。 


9. 访 问 图 像 和 音频 数据 


为 了 和 其 他 运行 库 实 现 共享 访问 或 互 操作 ，SDK 提 供 了 图 像 接 口 提 取 图 像 存 储 。 


可 以 利用 AcquireAccess 函 数 来 锁定 访问 图 像 存 储 ， 并 在 ImageData 结 构 中 获取 图 像 存 储 细节 。 图 像 存 储 的 数据 平面 由 data.planes[0-3] 指 出 ， 其 基 址 (pitch) 存储 在 data.pitches[0-3]。 当 图 像 存 储 
访问 完成 时 ， 需 要 使 用 ReleaseAccess 了 数 来 解除 访问 锁定 。 例 2-13 展 示 了 如 何 读 取 图 像 缓存 。 
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// 图 像 是 一 个 PXCMImage 实 例 
PXCMImage .ImageData data; 


image.AcquireAccess (PXCMImage.Access .ACCESS READ, data) ; 
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image.ReleaseAccess (data) ; 


10. 创 建 图 像 实例 


可 以 利用 session 接口 的 Createlmage 函 数 来 创建 一 个 图 像 实例 。 应 用 程序 需要 保证 用 来 创建 图 像 实 例 (PXCMImage) 的 图 像 缓存 具有 更 长 的 生命 周期 。 例 2-14 展 示 了 如 何在 位 图 中 创建 PXCMImage 
实例 。 


例 2-14 从 位 图 创建 图 像 实 例 


// 读 取 位 图 存 入 内 存 


Bitmap bitmap = (Bitmap) Image.FromFile (file); 
// 图 像 信 息 
РХСМІтаде.ІтадеІпҒо iinfo = new PXCMImage.ImageInfo (); 


iinfo.width = bitmap.Width; 

iinfo. height = bitmap.Height; 

iinfo.format = PXCMImage.PixelFormat.P XEL FORMAT RGB32; 

/* 创建 图 像 */ 

РХСМІтаде image=session.CreateImage (iinfo); 

/* 复制 数据 */ 

PXCMImage. ImageData idata; 
image.AcquireAccess (PXCMImage .Access.ACCESS WRITE, out idata); 
BitmapData bdata = new BitmapData (); ü 

bdata.Scan0 = idata.planes[0]; 

bdata.Stride = idata.pitches[0]; 

bdata.PixelFormat = PixelFormat.Format32bppRob; 

bdata.Width = bitmap.Width; 
bdata.Height = bitmap.Height; 
BitmapData bdata2 = bitmap.LockBits (new Rectanole (0, 0, bitmap. Width, bitmap.Height), 

ImagelockMode.ReadOnly | ImagelockMode.UserInputBuffer, 

PixelFormat.Format32bppRob, bdata); 

image.ReleaseAccess (idata); 

bitmap.UnlockBits (рааёа2) ; 
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image.Dispose (); 


24 IO 设备 操作 


SDK 采 集 接口 管理 采集 设备 (如 一 个 摄像 头 ) 操作 。 可 以 通过 以 下 组 件 架构 来 访问 采集 接口 及 其 内 容 : 

1) 每 个 SDK 会 话 可 能 包含 多 个 实现 了 采集 接口 的 模块 。 例 如 ， 系 统 中 可 能 存在 针对 不 同类 型 摄像 头 的 模块 实现 。 
2) 每 个 模块 可 能 包含 多 个 设备 ， 可 通过 Enumerate Devices 查 看 如 何 进行 设备 的 枚 举 。 

3) 每 个 设备 都 有 一 组 设备 属性 ， 可 通过 Get/Set Device Properties 查 看 如 何 获取 或 设置 设备 属性 。 

4) 每 个 设备 可 能 包含 多 个 流 (音频 或 视频 流 ) ， 可 通过 Enumerate Streams 查 看 如 何 进行 流 的 枚 举 。 


5) 每 个 数据 流 可 能 包含 多 个 配置 ， 可 通过 Enumerate Stream Congurations 查 看 如 何 进行 枚 举 流 配 置 。 
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例 2-15 示 例 了 如 何 枚 举 视 频 采 集 设 备 。 


(112-15 枚 举 视频 采集 设 


// 会 话 是 一 个 PXCMSession 实 例 

PXCMSession.ImplDesc descl=new PXCMSession.ImplDesc(); 

descl .group=EnumSet .of (PXCMSession.ImplGroup.IMPL GROUP SENSOR); 

descl .subgroup=EnumSet .of (PXCMSession.ImplSubgroup.IMPL SUBGROUP VIDEO CAPTURE) ; 

for (int m=0;;m++) { 

PXCMSession.ImplDesc desc2=new PXCMSession.TImplDesc (); 

if (session.QueryImpl (descl,m,desc2) .isError()) break; 

System.printf ("Module[%d]: %d%n", m, desc2.friendlyName); 

PXCMCapture capture=new PXCMCapture (); 

session.CreateI р (desc2, capture); 

// 输 出 所 有 设备 信息 

for (int d=0;;d++) í 
PXCMCapture .DeviceInfodinfo=new PXCMCapture.DeviceInfo(); 

if (capture.QueryDevice (d, dinfo).isError()) break; 

System.out.printf ("Device[%d]: %d%n", а, dinfo.name); 


~ 一 
` 


) 


capture.close(() ; 


2. 获 取 / 设 置 设备 属性 
可 以 通过 Device 接 口 成 员 函 数 获取 和 设置 设备 属性 。 例 2-16 展 示 了 如 何 获得 或 设置 设备 属性 。 不 推荐 随意 改变 设备 的 设置 ， 这 样 做 可 能 会 影响 其 他 共享 相同 物理 设备 的 应 用 程序 。 
例 2-16 ”设置 设备 属性 


// 设 备 是 一 个 PXCMCapture 装 置 实例 

// 获 取 摄 像 头 的 彩色 和 深度 视野 

PXCMPointF32 color fov=device.QueryColorFieldOfView(); 
PXCMPointF32 depth fov=device.QueryDepthFieldOfView(); 
// 关 闭 自动 曝光 和 设置 手动 曝光 
device.SetColorAutoExposure (false); 
device.SetColorExposure (0); 


` x 


3. 枚 举 流 


每 个 SDK 设 备 可 能 有 多 个 数据 流 。 流 信息 是 Devicelnfo 结 构 的 一 部 分 ， 可 以 使 用 QueryDevicelnfo 函 数 获取 流 信息 。 例 2-17 展 示 了 如 何 获取 流 信息 


112-17 获取 流 信息 


/ /设备 是 一 个 PXCMCapture 装 置 实例 
PXCMCapture .DeviceInfodinfo=new PXCMCapture.DeviceInfo(); 

device .QueryDeviceInfo (dinfo); 

if ((dinfo.streams.contains (PXCMCapture .StreamType.STREAM TYPE COLOR)) { 
System.out.printf ("COLOR STREAM%n"); 


ds a 


f ((dinfo.streams.contains (PXCMCapture .StreamType.STREAM ТҮРЕ DEPTH)) { 
System.out.printf ("DEPTH STREAM%n"); 


} 


4. 枚 举 流 配置 


每 一 个 流 可 能 有 多 个 配置 (颜色 的 格式 、 分 辩 率 和 帧 速率 ) 。 可 以 使 用 QueryStreampPro-fileSet 函 数 来 枚 举 单 个 流 或 多 个 流 的 配置 。 通 常 多 个 流 配置 之 间 有 一 定 的 关联 ， 例 如 红外 流 的 配置 可 能 与 相应 
的 深度 流 密切 相关 。 当 枚 举 多 个 流 的 配置 时 ，QuerSstreamProleSet 函 数 返 回 所 有 有 效 流 的 配置 组 合 。 可 以 使 用 lstreampProleSetValid 函 数 验 证 某 些 流 配 置 。 例 2-18 展 示 了 如 何 枚 举 流 配 置 。 


12-18 Баса 


/ /设备 是 一 个 PXCMCapture 装 置 实例 

EnumSet<PXCMCapture .StreamType> streams=EnumSet .of (PXCMCapture .StreamType .STREAM ТҮРЕ COLOR, PXCCapture.StreamType.STREAM ТҮРЕ DEPTH); 

for (int р=0;;р++) { 
PXCMCapture.Device.StreamProfileSet profiles=new PXCMCapture.Device.StreamProfileSet(); 
pxcmStatussts=device.QueryStreamProfileSet (streams, p, profiles); 


if (sts.isError()) break; 
System.out.printf("color[%d]: %dx%d%n", p, profiles.color.imagelInfo.width, profiles.color.imagelInfo.height); 
System.out.printf("color[%d]: %dx%d%n", p, profiles.color.imageInfo.width, profiles.color.imageInfo.height); 


25 ”坐标 系统 


SDK 使 用 两 种 坐标 系统 定义 : 图 像 坐 标 系 和 摄像 头 坐 标 系 。 
1. 图 像 坐 标 系 


像素 的 位 置 坐标 指 的 是 在 彩色 或 深度 图 片 中 像素 所 在 的 位 置 (xy) ， 其 中 x 为 0~w-1 (w 是 图 像 的 宽度 ) ，y 为 0~h-1 (h 是 图 像 高 度 ) ， 如 图 2-8 所 示 。 从 摄像 头 视图 来 看 ， 原 点 (00) 在 左上 角 ，x 轴 
指向 右 ，y 轴 指向 下 。 
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图 2-8 图 像 坐 标 系 
2 .摄像头 坐标 系 


摄像 头 坐标 系 中 的 坐标 是 三 维 坐标 (xyz) ， 原 点 (0,0,0) 在 深度 摄像 头 的 中 心 。 如 果 没 有 特别 指定 ， 则 坐标 单位 默认 为 米 。 


对 于 前 置 摄像 头 (摄像 头面 向 用 户 ) ， 默 认 的 坐标 系统 被 定义 为 x 轴 指向 右 侧 (摄像 头 视图 ) ，y 轴 向 上 ，z 轴 面 朝 用 户 ， 这 也 被 称 为 “左手 系 ”， 如 图 2-9 所 示 。 摄 像 头 坐标 系 的 定义 并 没有 改变 摄像 头 
的 镜像 模式 。 


对 于 后 置 摄像 头 (摄像 头 朝 着 场景 ) ， 默 认 的 坐标 系统 是 右手 系统 : x 坐 标 轴 指 向 用 户 的 右 人 出，y 轴 向 上 ，z 轴 朝向 用 户 ， 如 图 2-10 所 示 。 参 考 系 不 改变 摄像 头 的 镜像 模式 。 如 无 特殊 规定 ， 坐 标的 单位 为 


对 于 后 置 摄像 头 的 另 一 种 坐标 定义 方法 是 OpenCV 摄 像 头 坐 标 系 。OpenCV 摄 像 头 坐标 系 定 义 为 x 册 指向 摄像 头 的 右 人 出，y 轴 朝 下 的 场景 ， 如 图 2-11 所 示 。 


图 2-9 摄像头 坐 标 系 


图 2-11 OpenCV 摄 像 头 坐标 系 


3. 配 置 坐标 系 


在 SDK 的 会 话 初始 化 时 ，SDK 设 置 坐 标 系 为 默认 值 。 可 以 使 用 QueryCoordinatesystem 函 数 来 获取 当前 坐标 系统 设置 。 该 函数 返回 一 个 包含 前 置 和 后 置 摄像 头 的 坐标 系 的 位 掩 模 。 因 此 ， 如 果 需 要 对 特 
定 的 摄像 头 方向 检查 坐标 位 掩 模 ， 可 以 参考 例 2-19。 


例 2-19 ”检查 后 置 摄像 头 坐标 系 


// 创 建 一 个 SenseManager 实 例 
PXCMSenseManagersm=PXCMSenseManager. CreateInstance () ; 
// 得 到 坐标 系 设 定 
PXCMSession session=sm.QuerySession (); 
EnumSet<PXCMSession.CoordinateSystem>cs=session.QueryCoordinateSystem(); 
// 检 查 后 置 摄像 头 坐 标 系 
if (cs.contains (PXCMSession.CoordinateSystem.COORDINATE SYSTEM OPENCV) ) { 
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} 
// 清 理 
sm.close () ; 


可 以 使 用 SetCoordinatesystem 功 能 来 改变 坐标 系统 设置 。 每 个 SDK 模 块 在 模块 的 初始 化 过 程 中 读 取 坐标 系 设置 。 必 须 在 SDK 模 块 或 算法 进行 初始 化 时 设置 坐标 系统 ， 以 确保 模块 工作 在 相同 的 坐标 系 
统 下 。SenseManager 在 Enablexxx 国 数 中 初始 化 算法 模块 ， 并 在 Init 函 数 中 进行 MO 模块 的 初始 化 。 请 参见 例 2-20 中 设置 坐标 系 的 相关 操作 。 


例 2-20 坐标 系 设 置 


/ /创建 PXCMProjection 实 例 
PXCMProjection projection=device.CreateProjection (); 
// 获 取 深 度 和 彩色 图 像 尺 十 
PXCMImage. ImageInfodinfo=depth.QueryInfo(); 
PXCMImage.ImageInfocinfo=color.QueryInfo(); 
// 计 算 | 图 
PXCMPointF32[] uvmap=new PXCMPointF32[dinfo.width*dinfo.heioght]; 
projection.QueryUVMap (depth, ишлар); 
// 将 深度 点 数组 uv[] 译 为 彩色 数组 ij[] 
for (inti=0;i<uv.Length;i++) { 
ij[i].x=uvmap[ (int)uv[i].y*dinfo.width+(int)uv[i].x].x*cinfo.width; 
ij[i].y=uvmap[ (int)uv[i].y*dinfo.width+ (int)uv[i].x].y*cinfo.height; 


} 
// 清 理 
projection.close(); 


4. 坐 标 映射 


由 于 摄像 头 在 物理 位 置 、 镜 头 大 小 、 视 野 方 面 的 差异 ， 彩 色 和 深度 图 像 坐 标 系 无 法 做 到 1:1 映 射 ， 因 此 需要 使 用 Projection 函 数 来 映射 或 投影 坐标 系 。 可 以 使 用 CreateProjection 函 数 来 获取 投影 接口 的 
实例 。 


Projection 消 数 提供 以 下 映射 或 投影 : 
` 彩色 和 深度 图 像 坐 标 之 间 的 映射 。 
` 在 彩色 、 深 度 图 像 坐标 和 世界 坐标 之 间 的 投影 。 
创建 空间 和 大 小 对 齐 的 彩色 和 深度 图 像 。 
例 2-21 展 示 了 如 何 使 用 红外 图 (UV тар) 映射 深度 和 彩色 坐标 。 


例 2-21 ”映射 深度 和 彩色 坐标 


/ /创建 PXCMProjection 实 例 

PXCMProjection projection=device.CreateProjection (); 
// 获 取 深 度 和 颜色 图 像 尺 十 

PXCMImage. ImageInfodinfo=depth.QueryInfo(); 
PXCMImage. ImageInfocinfo=color.QueryInfo(); 

7/ 计 算 红外 国 

PXCMPointF32[] uvmap=new PXCMPointF32 [dinfo.width*dinfo.height]; 
projection.QueryUVMap (depth, uvmap); 

// 将 深度 点 数组 uv[] 译 为 颜色 数组 1 [] 


for (inti=0;i<uv.Length;i++) Í 
ij[i].x=uvmap[ (int)uv[i].vy*dinfo.width+(int)uv[i].x].x*cinfo.width; 
ij[i].y=uvmap[ (int)uv[i].y*dinfo.width+(int)uv[i].x].y*cinfo.height; 
) 
// 清 理 


projection.close(); 


2.6_SDK 编 程 应 用 举例 


1.DF_CameraViewer(C+ +) 
DF_CameraViewer 示 例 是 一 个 简单 的 C++ 控 制 台 应 用 程序 ， 主 要 展示 获取 和 和 泻 染 彩色 、 深 度 图 像 流 。 


这 个 实例 可 用 于 快速 检测 某 些 SDK 接 口 。 


DF CameraViewer [-load <module name>] [-sdname<device name>] 
[-csize<resolution>] [-dsize<resolution>] [-file <Output Filename>] [-listio] [-record] [-help] 


-load ”加载 指定 模块 。 
-Csize ”指定 彩色 数据 流 的 分 辨 率 和 帧 速率 。 例 如 使 用 640x480 指 定 分 辨 率 ， 或 用 640x480x30 指 定 分 辨 率 和 由 速率 。 
-dsize “指定 深度 数据 流 的 分 辨 率 和 帧 速率 。 例 如 使 用 640x480 指 定 分 辨 率 ， 或 用 640x480x 30 指 定 分 辨 率 和 帧 速率 。 
-sdname 指定 输入 设备 名 称 。 
-nframes 指定 记录 的 最 大 帧 数 。 
-listio 列 出 输入 输出 设备 。 
-record 启用 文件 记录 。 使 用 文件 选项 来 指定 记录 文件 名 。 
-le “指定 记录 或 播放 文件 名 ，SDK 将 摄像 头 数据 记录 到 指定 的 文件 中 。 如 果 -record 未 定义 ， 则 该 示例 将 仅 回 放 指 定 的 文件 。 
SDK 的 安装 目录 的 访问 权限 并 不 可 写 。 如 需 记 录 到 文件 中 ， 指 定 在 一 个 具有 可 写 权限 目录 中 的 文件 名 。 
-help ”输出 帮助 信息 。 

2.DF_Projection(C++) 
DF_Projection 实 例 演 示 了 如 何 使 用 SDK 投 影 功 能 。 投 影 国 数 主 要 用 于 在 彩色 图 像 坐标 系 、 深 度 图 像 坐 标 系 和 摄像 头 坐 标 系 进行 坐标 的 映射 或 投影 。 本 例 主 窗口 如 图 2-12 所 示 。 
菜单 栏 包含 以 下 标签 : 
' 设备 (Device) ”选择 成 像 设备 。 


-HÉ (Color) 选择 彩色 分 辨 率 。 


ЖЖ (Depth) 选择 深度 流 分 辩 率 。 
` 模式 (Mode) ”选择 实时 (默认) 或 回放 模式 。 
. MA (Command) ”启动 或 停止 流 。 
图 像 面 板 的 彩色 、 深 度 和 项 点 数据 如 图 2-13 所 示 。 


如 果 最 初 没 有 显示 ， 可 以 单 击 QuerylnvUVMap 按 钮 显示 逆 红 外 映射 。 逆 红外 映射 完成 从 彩色 图 像 到 深度 图 像 的 坐标 映射 。 
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图 2-13 图像 面 板 的 彩色 、 深 度 和 顶点 数据 


如 果 最 初 没 有 显示 ， 单 击 QueryUVMap 按 钮 显示 红外 映射 。 红 外 映射 完成 从 深度 图 像 到 彩色 图 像 的 坐标 映射 。 


如 果 最 初 没 有 显示 ， 单 击 QueryVertices 按 钮 显示 顶点 数据 ， 顶 点 数据 位 于 3D 空 间 。 为 了 演 染 简便 ， 例 子 中 将 顶点 数据 投影 到 2D 平 面 进行 可 视 化 展现 。 当 移动 鼠标 时 ， 例 子 应 用 了 一 些 照 明 效 果 来 展示 
一 个 虚拟 3D 效 果 。 


可 以 在 彩色 、 深 度 和 顶点 3 个 面板 上 显示 数据 流 。 例 子 可 将 某 个 面板 的 坐标 映射 到 其 他 面板 ， 并 在 其 上 进行 相应 的 绘制 。 对 映射 和 投影 方式 也 进行 了 标注 ， 如 图 2-14 所 示 。 


REALSENSI 


Daran 


图 2-14 不 同 面板 间 的 坐标 映射 


控制 面板 包含 以 下 按钮 。 
* CreateDepthlImageMappedToColor 和 (CreateColorImageMappedToDepth: 分 别 创建 对 齐 彩色 或 深度 分 辨 率 图 像 ， 如 图 2-15 所 示 。 


o 水 平方 向 镜像 流 。 


状态 栏 : 提供 选 定 的 分 辨 率 、 剪 辑 和 流 状态 等 操作 过 程 中 的 信息 。 


ы Depth Mapped To Color (15 fps) 


Color Mapped To Depth (15 fps) 


图 2-15 ”对 齐 的 彩色 和 深度 图 像 


3.DF RawStreams(C++,C#) 


DF_RawStreams 和 DF_RawStreams.cs 实 例 展示 如 何 把 原始 深度 和 彩色 流 可 视 化 ， 以 及 一 些 投影 功能 ， 其 主 窗口 如 图 2-16 所 示 。 


图 2-16 ”DF_RawStreams 实 例 主 窗口 


从 菜单 中 ， 可 以 选择 下 列 项 目 。 

· 设备 (Device) : 从 输入 /输出 设备 列表 中 选择 一 个 设备 的 流 。 

Же. ЖА (27) 、 左 、 右 (Color、Depth、Left、Right) : 选择 相应 的 数据 流 配置 ， 流 的 类 型 与 摄像 头 有 关 。 
` 模式 : 选择 是 否 实 时 进行 流 直播 、 录 制 或 播放 。 如 果 选 择 播 放 或 录制 模式 ， 则 会 提示 播放 或 记录 文件 名 。 


С/О Sync: 在 可 视 化 过 程 中 ， 选 择 是 否 使 用 同步 或 异步 的 彩色 流 和 深度 流 。 前 者 同步 彩色 图 像 与 相应 深度 图 像 的 播放 ， 而 后 者 按 各 自 的 帧 速率 显示 。 


4.FF_IQSampleTool (C#) 
FF_IQsampleTool.cs 应 用 程序 是 基于 FF_Rawstreams.cs 实 例 的 。 它 展示 了 如 何 进行 摄像 头 的 图 像 质量 测试 。 它 具备 下 列 特点 : 
.自动 标记 跟踪 
. XYZ EIPRE M b A 
` 为 红外 图 校准 误差 测试 
* 深度 均匀 性 试验 
绝对 深度 值 的 检验 


此 应 用 程序 需要 使 用 一 个 PORT3 测 试图 。 可 以 自己 打印 PORT3 测 试图 ，SDK 在 Assets 目 录 下 已 包括 Port3 Chart.pdf， 如 图 2-17 所 示 。 


2-17 PORT? 测 试图 


测试 步骤 如 下 : 
1) 获取 图 表 。 


2) 设置 测试 区 域 。 将 摄像 头 放置 在 离 测 试图 50 厘 米 远 处 ， 并 确保 PORT5 图 与 摄像 头 的 平面 平行 。 如 果 不 平行 ， 测 试 结果 会 出 现 偏差 。 可 以 用 一 个 盒子 、 一 个 金属 框架 或 者 包含 间隔 物 的 测试 图 等 来 做 
类 似 的 测试 。 


3) 启动 应 用 程序 。 如 果 摄 像 头 加 载 成 功 ， 深 度 按 钮 将 变 为 可 用 ， 在 Device 下 拉 菜 单 中 也 能 看 到 这 个 摄像 头 。 
4) 选择 “彩色 ”按钮 ， 单 击 “ 开 始 流 ”运行 视频 采集 。 
5) 对 于 标志 的 跟踪 ， 程 序 必 须知 道 测试 图 的 位 置 。 要 做 到 这 一 点 ， 必 须 勾勒 出 测试 图 的 边缘 。 将 鼠标 光标 从 测试 图 的 一 个 角 拖 动 到 另 一 个 角 ， 完 成 后 单 击 “ 设 置 RGB 边界 ”， 如 图 2-18 所 示 。 


6) 确保 基准 标记 处 于 合适 位 置 ， 可 以 看 到 红色 方块 上 所 画 的 黑色 圆圈 。 也 可 以 在 黑色 圆圈 标记 的 中 心 看 到 黑 十 字 。 在 图 2-19 中 寻找 正确 的 对 齐 方式 (ZE) 和 不 正确 的 对 齐 方式 (6) 。 定 位 不 当 可 能 
源 于 不 良 照 明 (对 于 RGB 视频 来 讲 ) 或 从 边缘 选择 过 程 中 引入 的 舍 入 误差 。 如 果 标 记 检测 不 正确 ， 需 要 重复 步骤 5) ， 但 应 选择 不 同 大 小 的 标记 。 


7) 屏幕 应 该 如 图 2-20 所 示 。 
8) 选择 “深度 ”按钮 ， 视 频 将 变 为 仅 有 深度 视图 。 


9) 通过 拖 动 鼠 标 从 一 个 角 到 另 一 个 角 ， 指 定 测 试图 的 边缘 ， 单 击 “ 设 置 深度 边界 ”， 如 图 2-21 所 示 。 
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92-18 测试 图 边界 设置 


图 2-19 ”基准 标记 定位 
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图 2-20 基准 标记 整体 图 
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10) 视图 现在 应 该 如 图 2-22 所 示 。 
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图 2-22 设置 后 的 视图 
11) 注意 基准 标记 男 在 白色 方块 上 。 绿 色 方 块 是 ROI ( 感 兴趣 区 域 ) 的 数组 ， 用 于 均匀 性 试验 。 检 查 所 有 的 基准 标记 对 齐 情况 ， 所 有 的 绿色 区 域 要 在 深度 图 范围 内 。 如 果 不 满 足 ， 需 要 重复 步骤 9) 。 


12) 单 击 “ 运 行 测试 ”来 分 析 数 据 ， 测 试 包 括 : 


УВВ: 校正 误差 。UV 图 将 RGB 流 和 深度 流 对 齐 。 此 测试 计算 对 齐 中 的 错误 。 使 用 测试 图 时 ， 可 以 看 到 这 种 错误 的 一 个 例子 ， 如 图 2-23 所 示 。 图 中 国 形 标记 不 一 致 ， 即 是 紫外 图 对 齐 错误 。 


图 2-23 ”深度 数据 履 盖 到 彩色 流 上 


. 绝对 深度 错误 。 这 项 测试 主要 测量 突出 的 正方 形 和 摄像 头 表面 间 的 深度 ， 然 后 与 记录 在 黑色 标记 中 心 的 深度 值 进 行 比较 。 由 于 突出 方块 的 规格 为 12 厘 米 X12 厘 米 X5 厘 米 ， 测 量 出 的 差异 应 等 于 5 悍 


. 一致 性 检验 。 这 个 测试 将 创建 一 个 ROI 数 组 。 每 个 ROI 数 组 的 深度 数据 被 处 理 后 得 到 平均 值 和 标准 方差 ， 然 后 用 于 一 致 性 测量 。 任 何 倾斜 误差 都 会 在 这 些 结果 中 得 到 显现 。 


第 3 草 ЗОН 


本 章 主 要 介绍 SDK 的 3D 扫 描 功 能 。SDK 提 供 的 3D 扫 描 重 建功 能 方便 快捷 、 低 成 本 地 解决 了 3D 模 型 建立 的 问题 。 本 章 详细 介绍 了 SDK 3D 扫 描 的 编程 流程 ， 以 及 针对 面部 、 头 部 、 身 体 、 物 体 等 多 种 场景 
的 细 化 扫描 方法 。 


SDK 的 3D 扫 描 模 块 用 来 扫描 静态 物体 ， 以 满足 查看 、 泻 染 、 编 辑 或 打 Ehp 的 目的 ， 如 图 3-1 所 示 。 在 预先 设 定 了 用 途 的 情况 下 ，3D 扫 描 模块 提供 了 扫描 面部 、 物 体 、 头 部 、 身 体 的 多 种 解决 方案 。 扫 描 结 
果 以 标准 的 mesh 格 式 储 存 。 


图 3-1 一 个 物体 及 其 扫描 结果 


3D 扫 描 模块 支持 前 置 或 者 后 置 摄像 头 。 前 置 摄像 头 主要 用 来 扫描 人 脸 ， 但 也 可 以 扫 摘 物体 。 后 置 摄像 头 可 以 用 于 扫描 各 种 物体 。 两 个 摄像 头 的 应 用 场景 如 图 3-2 和 图 3-3 所 示 。 


图 3-2 ”前 置 摄像 头 用 于 扫描 人 脸 


图 3-3 ”扫描 物体 、 人 体 头 部 和 身体 


3.1 扫 握 过 程 


每 个 用 于 扫描 的 场景 需要 预先 设 定 扫描 区 域 ， 扫 描 区 域 在 初始 化 开始 后 几 秒 内 被 锁定 。 在 初始 化 的 过 程 中 ， 用 户 会 看 到 一 个 圈 出 扫描 物体 的 绿色 方 框 。 初 始 化 时 很 重要 的 一 点 就 是 把 物体 置 于 扫描 区 域 
之 内 ， 如 图 3-4 所 示 。 


初始 化 之 后 ， 扫 描 自动 开始 。 扫 描 过 程 的 中 间 结 果 如 图 3-5 所 示 。 


图 3-4 ”绿色 方 框 锁 定 扫描 区 域 


图 3-5 ”扫描 的 中 间 结 果 


因为 需要 较 近 的 深度 距离 ， 面 部 扫描 在 前 置 摄像 头 上 进行 更 为 合适 。 


初始 化 面部 扫描 : 选择 面部 扫描 模块 ， 然 后 单 击 “ 开 始 拍 摄 ” 按 钮 。 


扫描 区 域 到 摄像 头 的 距离 是 预先 设 定好 的 。 一 旦 距离 设置 完毕 ， 应 在 扫描 开始 之 前 移动 到 扫描 区 域 之 内 。 这 段 时 间 内 ， 用 户 可 以 看 到 扫描 区 域内 的 面部 图 像 (绿色 是 扫描 区 域 ) ， 如 图 3-6 所 示 。 


离 摄像 头 太 近 或 者 太 远 都 会 影响 扫 摘 效果， 因此 需要 注意 观察 在 预览 画面 中 看 到 景象 ， 并 应 调整 至 鼻子 恰好 在 扫描 范围 内 ， 如 图 3-7 所 示 。 


图 3-6 ”在 初始 化 时 移动 至 正确 的 位 置 


图 3-7 ”反映 距离 的 预览 画面 : 过 近 、 适 合 和 过 远 


初始 化 结束 后 扫描 自动 开始 。 把 头 部 左右 扭 动 各 30 度 ， 然 后 回 到 中 央 。 扫 描 过 程 中 应 保持 面部 表情 不 变 ， 扫 描 结 果 如 图 3-8 所 示 。 
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图 3-8 面部 扫描 结果 


注 ， 扫 描 结 束 前 应 注视 摄像 头 几 秒 ， 以 提高 眼睛 颜色 的 扫描 精度 。 


3.3 ЯЛ 


物体 扫描 技术 的 独特 之 处 在 于 它 可 以 精确 地 识别 出 一 个 平面 上 (比如 桌面 ) 的 物体 。 扫 摘 结 果 将 自动 移 除 背景 ， 这 在 只 需要 扫描 某 个 物体 时 显得 尤为 有 用 。 物 体 扫 摘 的 前 提 是 物体 处 在 一 个 平面 上 。 


初始 化 物体 扫描 : 选择 物体 扫 拉 模块， 然后 单 击 “开始 拍摄 ”按钮 。 


一 旦 初始 化 开始 ， 绿 色 方 框 会 圈 出 扫描 物体 ， 如 图 3-9 所 示 。 


图 3-9 ”物体 扫描 : 在 初始 化 时 检测 在 平面 上 的 物体 
扫描 开始 后 ， 按 顺 时 针 绕 物体 扫描 。 
IE ”用 后 置 摄 像 头 扫描 物体 时 ， 请 顺 时 针 旋 转 物 体 以 达到 最 好 的 效果 。 


尽管 用 前 置 摄像 头 扫描 物体 是 可 行 的 ， 这 仍 需要 将 物体 放 在 一 个 可 旋转 的 平面 上 进行 物体 旋转 。 可 用 手 在 远 处 拿 住 一 张 圆 形 硬 纸板 (直径 约 35~40 厘 米 ) ， 这 样 可 避免 手 进入 扫描 区 域 ， 如 图 3-10 所 


^^ 


注 用 前 置 摄像 头 扫描 物体 时 ， 请 逆 时 针 旋 转 物体 以 达到 最 好 的 效果 。 


图 3-10 如 何在 扫描 过 程 中 用 硬 纸板 旋转 物体 


图 3-10 (2) 


34 АЯЗ 


头 部 扫描 功能 主要 采用 后 置 摄像 头 。 另 一 个 人 要 手持 摄像 头 在 距离 被 扫描 者 1 米 处 扫描 。 被 扫描 者 在 此 过 程 中 必须 保持 静 立 。 


初始 化 头 部 扫描 : 选择 头 部 扫描 模块 ， 然 后 单 击 “ 开 始 拍 摄 ” 按 钮 。 


在 初始 化 的 过 程 中 ， 用 户 有 几 秒 钟 的 时 间 前 后 移动 ， 以 确保 头 和 肩膀 都 处 在 扫描 区 域 中 ， 并 且 摄 像 头 距 头 部 一 米 为 宜 。 太 远 、 适 合 和 太 近 的 扫描 情况 如 图 3-11 所 示 。 


图 3-11 扫描 距离 : 太 远 、 适 合 和 太 近 


扫描 开始 后 ， 顺 时 针 绕 被 扫描 者 进行 扫描 。 


Е ”扫描 头 部 时 ， 应 把 被 扫描 者 的 肩膀 也 包括 在 内 ， 以 避免 跟踪 出 错 。 


35 ”身体 扫描 


该 用 途 和 头 部 扫描 类 似 ， 为 达到 较 好 的 扫描 效果 ， 需 绕 被 扫描 者 扫描 多 次 。 第 一 圈 应 和 头 部 扫描 一 样 。 第 二 圈 把 摄像 头 朝 下 对 准 艇 干 和 腿 的 上 部 。 第 三 圈 对 准 腿 的 下 部 、 脚 和 地 板 。 以 上 过 程 应 距离 被 
扫 摘 者 1 米 远 。 


初始 化 身体 扫描 : 选择 身体 扫 拉 模块， 然后 单 击 “开始 拍摄 ”按钮 。 扫 摘 过 程 如 图 3-12、 图 3-13 和 图 3-14 所 示 。 


注 保持 摄像 头 重 直 很 重要 ， 这 能 保证 扫描 区 域 是 重 直 的 。 


13-12 ”初始 化 时 ， 将 摄像 头 对 准 被 扫描 者 的 头 部 


图 3-13 身体 扫描 时 需要 绕 被 扫描 者 数 圈 ， 每 次 把 角度 降低 一 点 


身体 扫描 结果 如 图 3-14 所 示 。 


图 3-14 ”身体 扫描 结果 


3.6 ”扫描 选项 


在 任何 扫描 功能 中 ， 都 有 两 种 扫描 选项 可 以 选择 。 


- 纹理 匹配 (Texture) 选项 : 如 果 扫 描 需 要 锐 化 功能 ， 应 开启 纹理 匹配 选项 。 开 启 和 未 开启 纹理 匹配 的 结果 对 比如 图 3-15 所 示 。 


图 3-15 ”纹理 匹配 的 结果 对 比 


" 固化 (Solid) 选项 : 如 果 用 户 要 求 形成 闭合 曲线 (比如 用 于 打印 和 仿真 )， 可 以 开启 固化 选项 。 有 的 区 域 在 扫描 中 扫描 不 完整 ， 固 化 选项 可 以 将 颜色 和 表面 曲线 扩展 成 完整 的 区 域 。 使 用 和 未 使 用 固 
化 选项 的 扫描 结果 对 比如 图 3-16 所 示 。 


图 3-16 使 用 和 未 使 用 固化 选项 的 扫描 结果 对 比 


37 3D 扫描 常见 间 题 


一 些 扫描 常见 的 问题 以 及 建议 解决 方法 如 表 3-1 所 示 。 


表 3-1 扫描 常见 问题 及 解决 方法 


0] Ай 建议 解决 方法 
面部 扫描 时 扫描 进 了 不 需要 的 头发 把 头发 往 后 扎 ， 或 者 戴 合适 的 帽子 
身体 扫描 时 靠近 足 部 处 被 切断 确保 摄像 头 初始 位 置 瞄准 一 个 水 平面 
扫描 忽略 了 细小 特征 (形状 特征 ) 把 物体 离 摄 像 头 近 一 些 。 景 深 摄 像 头 的 最 小 分 辨 尺寸 约 为 0.5 厘米 
了 始 时 ， 确 保 物 体 完 全 在 扫描 区 域内 。 扫 描 时 适当 增加 额外 的 
景象 (比如 顶部 )， 减 少 外 界 光 照 (比如 窗户 光照 )， 并 开启 固化 选项 
扫描 颜色 过 深 гет 至 内 照明 更 好 的 区 域 
扫 摘 颜色 不 鲜艳 把 物体 离 摄像 头 近 一 些 ， 并 开启 纹理 匹配 选项 
保证 扫描 内 容 在 扫描 过 程 中 是 静止 的 。 扫 摘 开 始 之 前 ， 改 变 物 体 方 
位 或 增加 深度 特征 ， 或 把 物体 的 内 光 〈 反 射 ) 部 分 和 半 透 部 分 遮 住 
提高 照明 漫 反 射 的 均 义 度 〈 比 如 使 用 多 路 漫 反 射 灯 光 )。 扫 描 开 始 之 
前 ， 把 物体 的 闪光 部 分 和 半 透 明 部 分 遮 住 
确保 物体 表面 不 过 腕 或 过 上 暗 。 厂 物体 尺寸 小 于 几 厘 米 ， 或 者 大 于 
0.5 米 ， 则 不 适用 于 物体 扫描 机 制 。 则 增 大 物体 可 看 到 的 表面 
太阳 光 中 包含 了 紫外 线 ， 它 会 干扰 景深 成 像 系统 。 应 在 室内 扫描 ， 
或 者 在 日 落后 使 用 人 造 光 源 


扫描 的 表面 出 现 原 本 没有 的 孔洞 


扫描 的 表面 被 损坏 


扫描 的 颜色 被 损坏 


因为 物体 表面 未 被 识别 ,扫描 不 能 开始 


扫描 不 适用 于 室外 (或 者 靠 窗 处 ) 


3.8 典型 3D 反 摘编 程 举例 


例 3-1 是 一 个 典型 3D 扫 描 编程 举例 。 例 子 中 应 用 SenseManager 流 水 线 进行 3D 扫 描 激活 、 预 览 扫 描 、 存 储 等 处 理 。 


例 3-1 3D 扫 摘 


C# 
// 创建 SenseManager 
PXCMSenseManager зп=РХСМбепѕеМападег.СгеаёебепѕеМападег () ; 
// 激活 3D 扫 描 
sm.Enable3DScan (); 
// 配置 3D 扫描 参数 
PXCM3DScan scan=sm.Query3DScan () ; 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/. http: //www.hzcourse.com/resource/readBook?path=/openresources/teach ek 
// 初始 化 流水 线 
sm.Init(); 
// 流 式 处 理 数据 
while (sm.AcquireFrame (true) .IsSuccessful()) { 

// 预览 扫描 结果 

PXCMImage image=scan.AcquirePreview (); 

http://www. Í com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teacr 
image.Dispose () 
// 如 果 扫 描 结 束 ， 中 断 退 出 
if (scan completed) break; 
// 进行 下 一 帧 处 理 准备 


sm.ReleaseFrame () ; 


J 

// 保存 扫描 结果 

scan.Reconstruct (PXCM3DScan.FileFormat.STL, "“C:\\mywork\\myobject.st1"); 
// 清理 


sm.Dispose () ; 


3.9 ЗО АЛУ] 


DF_3DScan.cs.exe 是 一 个 C# 例 程 ， 它 展示 了 3D 拍 照 和 扫描 功能 。 


1. 启 动 和 构建 
用 户 可 以 从 $(RSSDK_DIR)/bin/$(Platform) 启 动 预 建立 好 的 样 例 程 序 ， 或 者 在 Microsoft Visual Studio 里 编译 和 执行 。 工 程 和 源 文件 放 在 $(RSSDK_DIR)/framework/CSharp/DF_3DScan.cs 目 录 中 。 
2.GUI 选 项 
图 3-17 展 示 了 例 程 的 窗口 ， 可 以 执行 以 下 操作 : 
' Device 选择 摄像 头 设备 。 
· Color 选择 颜色 流 的 分 辨 率 和 帧 频率 。 


Depth ”选择 深度 流 的 分 状 率 和 帧 频率 。 


Mode 选择 不 后 直播 流 、 重 放 或 录像 。 


Help 查看 帮助 文档 。 


在 Object 目 录 条 中 选择 扫描 对 象 ，Object 目 录 条 大 致 设置 了 扫描 物体 的 大 小 : 物体 (最 小 ) 面部 、 头 部 、 身 体 和 全 景 (最 大 ) 。 另 外 在 面板 右 侧 可 以 设置 扫描 选项 : 纹理 匹配 和 固化 。 


单 击 “Start Camera” 按钮 来 预览 待 扫描 物体 的 图 像 。 


按照 窗口 底部 的 提示 把 物体 放 在 视野 正中 央 ， 如 图 3-18 所 示 。 图 中 物体 背景 点 被 移 了 除了。 一旦 被 扫描 物体 的 快照 质量 足够 好 ， 就 可 单 击 “start Scanning” 按 钮 开始 扫描 。 用 户 可 以 单 击 Cancel 按 钮 返 
回 如 图 3-17 所 示 的 设置 窗口 。 


| ug Inteli Не еп: ТК SOE - СР 30Scan.cs ample = H Ещ 
Device Color Depth Моде | Help 
Texture !! 
Object / Solid 口 
Start Start 
Camera ocanning 


图 3-17 3D 扫 描 窗口 


ù, latek} Realiame TRI SDE - DF 3DSean za Sirghi = © | 


Device Color Depth Mode | Help | 


Texture Б 
solid O 


Center object in the scanning area, then press Start Scanning 


图 3-18 ”按照 提示 把 物体 放 到 摄像 头 视野 里 


扫描 过 程 中 ， 用 户 应 旋转 扫 摘 物 体 或 移动 摄像 头 ， 这 样 摄 像 头 才能 扫描 到 物体 的 所 有 角度 。 例 程 可 能 会 提示 用 户 物 体 距离 摄像 头 过 远 或 过 近 了 ， 如 图 3-19 所 示 。 


Bl тє) Real Sense Т) SDK = ОЕ 305 aru cs Sarnpie Б ES 


Device Color Depth Mode 


Texture H 
Body ~ | Бойд m 


图 3-19 ”在 扫描 过 程 中 旋转 物体 


扫描 完成 后 ， 单 击 “End Scanning” 按 钮 并 保存 文件 ， 如 图 3-20 所 示 。 


nte [| ЖЕЙ = >. кы Сам. C i Ж == raq; 
s еВ Веа1бетзе ТМ SDK - CF_IDS Sampl 1 >x 


| Search obj P 
Drgamnize = Hew tolder = = [7] 
А yn 
Уг ЖЕ Date modified Туре 


| De:ktop 

k Downloads 

оа Recent places 

 Syncplirity Texture В | 
L | 


Solid 


No items match your search, 


jE This PE 


И Desktop 


| E босатты | End 
| j Downloads Q = | 
Ш Music canning | 


Ë Ficturei 


File name: 


Save as type: 


. 


图 3-20 ”扫描 完成 后 保存 文件 


可 在 目录 里 查看 已 保存 的 物体 图 像 ， 如 图 3-21 所 示 。 


3D Scan x 


б> Шету: Usersi plumbiDocyumentsobj30scanobj.himl | = 


Intel(R) Realsensel TM] Technology - 3D Scan (Use mouse to rotate/zocm/pan camera and 'w' to toggle wireframe] 


i 


图 3-21 在 目录 里 查看 已 保存 的 物体 图 像 


团 块 (Blob) 指 的 是 图 片 中 识别 出 的 轮廓 ， 它 可 以 代表 一 个 物体 。 在 交互 性 要 求 较 高 的 场合 ， 团 块 跟踪 是 比较 适合 的 物体 轮廓 获取 方法 。 本 章 详 细 介绍 了 团 块 跟踪 的 设计 方法 ， 包 括 模 块 的 初始 化 与 配 
置 、 数 据 提 取 与 分 析 等 内 容 。 


BlobModule 相 关 接 口 能 检测 摄像 头 前 的 物体 ， 并 提取 Blob 的 分 割 图 、 轮 廓 线 和 关键 点 。 分 割 图 是 代表 一 个 Blob 的 图 片 ， 在 分 割 图 中 检测 到 的 Blob 是 白色 区 域 ， 背 景 是 黑色 区 域 。 轮 廓 线 使 用 内 外 边界 
线 将 物体 和 背景 分 离 。 图 4-1 和 图 4-2 展 示 了 分 割 图 及 其 轮廓 线 ， 其 中 Blob 的 白色 区 域 代表 了 物体 ， 黑 色 区 域 是 背景 ， 红 色 的 线 是 轮廓 线 。 例 子 中 的 物体 有 孔洞 ， 所 以 它 除了 外 部 轮廓 线 之 外 还 有 内 部 轮廓 
线 。 


84-2 HERR, 


用 户 可 以 使 用 Blob 模 块 跟踪 任何 摄像 头 前 的 物体 ， 包 括 用 户 的 面部 、 手 部 以 及 其 他 物体 。 例 如 ， 在 程序 中 用 物体 的 大 致 位 置 来 定位 ， 或 者 用 物体 的 轮廓 在 游戏 中 “收集 ”东西 。 


Blob 跟 踪 模 块 可 以 检测 最 多 4 个 物体 。 如 果 可 见 物体 个 数 多 于 4 个 ， 模 块 将 跟踪 最 大 的 4 个 。 
在 FE200 摄 像 头 中 ， 最 检测 远 距离 约 为 100 厘 米 ， 而 R200 摄 像 头 的 最 远 检测 距离 为 300 厘 米 〈 假 设 物体 足够 大 ) 。 尽 管 距离 很 近 ， 小 物体 (比如 一 根 手 指 ) 对 于 深度 摄像 头 来 说 是 不 可 见 的 。 建 议 按 实 


际 测试 摄像 头 的 分 辨 范围 来 确定 使 用 限制 。 
如 果 应 用 并 不 具体 要 求 手势 识别 ，Blob 模 块 可 以 很 好 地 作为 手 部 检测 的 替代 。 模 块 对 于 系统 要 求 较 少 。 如 果 应 用 资源 不 足 的 话 ，Blob 其 实 可 以 提供 更 好 的 结果 。 
如 果 应 用 需要 检测 使 用 者 的 完整 轮廓 的 话 ， 最 好 使 用 用 户 轮廓 模块 。 
Blob 处 理 相关 的 接口 有 3 个 。 
BlobModule: 模块 的 主要 接口 
· BlobConguration: 模块 的 配置 接口 


: BlockData: 被 提取 的 Blob 数 据 


用 户 可 以 用 SenseManager 接 口 来 初始 化 Blob 跟 踪 模 块 ， 参 见 例 4-1。 


例 4-1 初始 化 Blob 跟 路 模块 


C# 

// 创建 一 个 SenseManager 实例 

PXCMSenseManager sm = PXCMSenseManager .CreateInstance (); 
// 使 能 Blob 跟 踪 模 块 

sm.EnableBlob () ; 


// 获取 PXCBlobModule 实例 


PXCMBlobModule blobModule = sm.Query! 


42 ”配置 Blob 跟 踪 模 块 


Blob () ; 


Blob 跟 踪 模块 有 许多 配置 选项 ， 如 可 以 识别 出 的 Blob 的 数目 和 大 小 等 。 用 户 可 以 通过 BlobConguration 来 配置 Blob 跟 踪 模 块 。 例 4-2 展 示 了 这 个 做 法 。 必 须 调用 ApplyChanges 函 数 以 应 用 新 的 配置 。 


表 4-1 总 结 了 Blob 配 置 的 选项 。 


例 4-2 配置 Blob 跟 踪 模 块 


x 获取 PXCBlobConfiguration 实例 


PXCMBlobConfiguration blobConfig = blobModule.CreateActiveConfiguration (); 
7 е module 
blobConf SetBlobSmoothing (0.7Ё); 
// 调用 更 多 的 配置 方法 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 
< зше 
blobConfig.ApplyChanges () ; 
表 4-1 Blob 配 置 选 项 

配置 函数 — F 默 认 值 

ApplyChanges 激活 当前 模块 的 配置 ， 配 置 只 有 调用 本 方法 后 才 会 生效 
(E) 

配置 函数 x £” ië Еи 
Update 获取 当前 有 效 配 置 NA 
RestoreDefaults 获取 默认 的 配置 NA 


EnableSegmentationImage 


segmentationlmageEnabled 


EnableContourExtraction 


局 或 关闭 获取 分 割 图 的 功能 True 
尼 或 关闭 获取 轮廓 线 的 功能 True 


contourExtractionEnabled 


SetMaxBlobs 


maxBlobs 


SetMaxDistance 
maxDistance 
Set MinPixelCount 


minPixelCount 


Set MaxObjectDepth 
maxObjectDepth 


SetMInContourSize 
minContourSize 
SetBlobSmoothing 
blobSmoothing 


EnableStabilizer 


SetMinBlobArea 
SetMaxBlobArea 
minBlobArea 


maxBlobArea 


EnableColorMapping 
colorMappingEnabled 


设置 检测 Bloo 个 数 的 最 大 值 AF 4, AXN 1) 
Ж. 如 果 图 片 中 的 Blob 个 数 比 设置 的 值 大 ， 较 大 的 物体 将 被 优 |1 
先 检测 到 


w: we suska чары ж, F200: 550 mm 
设置 Blob 识别 的 最 远 距 离 ， 以 训 米 为 单位 БЕП. ШЙ mri 
设置 Blob 的 最 小 分 辨 率 。 小 于 这 个 尺寸 的 物体 将 不 被 识别 。 分 | F200: 400 
状 率 不 能 大 于 摄像 头 视野 的 1⁄4 R200: 1500 
设置 最 大 物体 深度 。 物 体 深 度 就 是 距离 摄像 头 的 最 近 及 最 远 两 
个 物体 之 间 的 前 后 距离 。 如 果 物 体 深 上 度 大 于 这 个 值 ， 最 远 的 部 分 | F200: 300 mm 
看 起 来 像 是 被 切割 了 。 如 果 用 户 只 要 识别 物体 的 一 小 部 分 ， 这 个 | R200: mm 
功能 就 很 有 用 
设置 Blob 最 小 的 轮廓 大 小 (以 轮廓 的 点 数 计 )。 轮 廓 点 数 小 于 3 panis 


这 个 点 的 物体 将 不 被 识别 
设置 Blob 跟踪 算法 的 平滑 值 。“ 平 滑 ” 会 让 扫描 结果 更 持续 、 
连续 ,孔洞 更 少 。 高 平滑 值 需 要 消耗 更 多 的 计算 资源 
开局 或 关闭 极点 的 平稳 硕 。 平 稳 希 可 能 导致 极 值 点 和 边界 线 的 
Шш 


ж, 


True 


设置 最 大 /最 小 的 Blob 面积 ， 以 平方 米 为 单位 。 只 有 在 指定 区 
域内 的 物体 可 以 被 识别 


开局 或 关闭 颜色 匹配 的 功能 False 


Blob 模 块 可 以 产生 深度 轮廓 图 。 深 度 轮廓 图 是 16 位 的 灰 度 图 像 ， 每 个 点 的 值 指示 了 其 到 摄像 头 的 距离 。 


Blob 和 轮廓 线 是 从 当前 摄像 头 画 面 中 提取 出 来 的 。 首 先 调用 CreateOutput 函 数 来 获取 当前 数据 实例 。 然 后 可 以 遍历 被 识别 的 Blob， 并 使 用 QueryBlob 函 数 检查 数据 。 可 以 使 用 AccessOrder 来 指定 获 
取 Blob 的 顺序 : 从 左 到 右 、 从 近 到 远 或 从 大 到 小 。 


例 4-3 展 示 了 如 何 遍 历 Blob。 


例 4-3 Blob 


C# 


// 创建 一 个 Blob 
PXCMBlobData blobData = blobModule.CreateOutput (); 
// 流 式 处 理 


while 


(sm.AcquireFrame 
// 获取 Blob 


(true) >= pxcmStatus.PXCM STATUS NO ERROR) { 


blobData.Update(); // update to the current plob data 


// 按 从 右 至 
Int32 il 


) 


PXCMBlobData. I 


// 
їп 
hti 


| 左 的 顺序 遍历 Blob 
BlobsNum = blobData.QueryNumberOfBlobs (); 
for (int i = 0; i < iBlobsNum; i++) { 


处 理 BLob 数 据 


t32 nContours 


Ep: //www.hzco 


// 下 一 帧 数据 准备 


sm.ReleaseFrame () ; 


) 
// 清理 


blobData.Dispose () ; 


Blob pBlob;blobData.QueryBlobByAccessOrder(i, РХСЇ 


= pBlob.QueryNumberOfContours () ; 


BlobData.Seomentation] 


urse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OE 


图 4-3~ 图 4-6 是 从 深度 图 的 Blob 中 提取 出 分 割 图 和 轮廓 线 的 实例 。 


[mageType . SEGMENTATION IMAGE DEPTH, PXCMBlobData.AccessOrderType.ACCESS ORDER RIGHT 


+ 
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图 4-3 输入 深度 图 


N 


图 4-4 输出 


№ 
қу 


| 
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84-6 Blob 映 射 到 彩色 图 像 上 


44 理解 Blob 数 据 


1Blob 接 口 提 供 了 Blob 分 割 图 和 轮廓 线 的 构成 细节 。 
1. 分 割 图 数据 
以 下 参数 将 描述 被 检测 到 的 Blob 分 割 图 。 
: Segmentation image: 黑白 分 割 图 ，Blob 点 为 白色 。 可 以 使 用 QuerySegmentation Image A ARARA A. 


- Extremity points: 分 割 图 中 最 左 、 最 右 、 底 部 、 顶 部 和 高 摄像 头 最 近 的 点 。 可 以 使 用 QueryExtremityPoint 吏 数 来 查询 每 个 极 值 点 。 如 果 固化 功能 已 开启 ， 极 点 将 变 平 滑 以 趋 于 稳定 ， 其 运动 也 更 加 平 
滑 。 但 不 保证 极点 一 定 在 轮廓 线 上 。 


- Pixel count: 分 割 图 中 的 像素 点 数 。 可 以 使 用 QueryPixelCountx% 数 来 获取 像素 点 数 。 
2. 轮 廓 数据 


每 个 Blob 的 形状 不 一 ， 都 有 外 部 轮廓 线 和 一 条 或 多 条 内 部 轮廓 线 。 每 条 轮廓 线 是 用 一 系列 点 来 表示 的 。 在 两 个 连续 点 之 间 用 直线 连接 就 构成 了 多 边 形 ， 这 就 是 轮廓 线 的 大 致 形状 了 。 设 置 的 轮廓 线 最 小 
尺寸 越 小， 得 到 的 轮廓 线 越 细致 。 


外 部 轮廓 线 (比如 外 部 边界 ) ， 是 以 逆 时 针 的 点 的 数组 的 方式 定义 的 。 如 果 有 内 部 轮廓 线 的 话 (比如 面具 上 的 孔洞 ) ， 则 内 部 轮廓 线 是 以 顺 时 针 的 点 的 数组 的 方式 定义 的 。 
以 下 常数 定义 了 轮廓 线 。 

· Number of contours: 内 部 和 外 部 轮廓 线 的 点 数 之 和 。 可 以 使 用 QueryNumber-OfContours 来 获取 其 值 。 

· Contour size: 轮廓 点 的 个 数 。 可 以 使 用 QuerySize 来 获取 其 值 。 

` Contour points: 轮廓 点 的 数组 。 这 是 2D 的 点 ， 用 义 和 Y 方 向 的 坐标 来 表示 。 可 以 使 用 QueryContout 函 数 ( 或 者 points) 获取 点 的 值 。 


' Inner/Outerag: 指定 的 轮 廊 线 是 内 部 还 是 外 部 的 。 可 以 使 用 IOutet 函 数 (或 者 outer) 来 获取 数据 。 


45 ” 团 块 跟踪 应 用 举例 


Blob 跟 踊 模 块 可 以 有 很 多 使 用 方式 ， 下 面 是 一 些 应 用 例子 : 

1) 展示 物体 的 轮廓 作为 视觉 反馈 。 在 这 种 情境 中 ， 用 户 可 以 使 用 分 割 图 作为 应 用 的 图 层 ， 用 于 指定 Blob 的 位 置 。 

2) 将 指定 Blob 点 转 为 屏幕 上 的 鼠标 指针 。 用 户 可 以 跟踪 Blob 距 离 屏幕 最 近 的 点 ， 将 其 转换 到 对 应 屏幕 坐标 位 置 ， 以 达到 鼠标 指针 的 功能 。 

3) 将 物体 轮廓 作为 游戏 中 的 边界 。 在 很 多 情况 下 将 物体 轮廓 转化 为 体感 游戏 中 的 资源 是 有 用 的 ， 比 如 击 打 飞行 的 球体 、 收 集 水 流 、 控 制 人 物 的 移动 (通过 挡住 他 们 的 路 ) 等 。 

4) 使 用 分 割 图 从 彩色 图 片 中 提取 出 物体 。 这 在 增强 现实 应 用 中 很 有 用 ， 在 这 些 应 用 中 ， 用 户 只 想 操作 特定 的 物体 。 

5) 当 跟 踪 的 Blob 覆 盖 了 用 户 界面 的 按钮 时 ， 可 以 实现 “悬浮 鼠标 ”的 操作 。 在 这 种 情况 下 ， 用 户 要 计算 覆盖 了 按钮 的 Blob 的 像素 点 数 ， 然 后 根据 覆盖 的 百分比 判断 按钮 是 否 被 按 下 。 


图 4-7 和 图 4-8 是 分 界线 和 将 最 近 的 Blob 点 转化 为 屏幕 上 的 坐标 的 应 用 图 示 。 


图 4-7 分 界线 用 作 游 戏 中 的 真实 边界 


将 最 近 的 Blob 点 转化 为 屏幕 上 的 坐标 


图 4-8 
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第 5 章 ”深度 增强 的 摄影 和 录像 
增强 了 传统 的 照片 (增强 照片 ) 和 视频 (增强 视频 ) , Intel RealSense 技 术 充 分 利用 深度 图 像 信 息 ， 应 用 程序 可 以 非常 方便 地 利用 不 


SDK 深 度 增强 摄影 模块 利用 与 照片 或 视频 同时 记录 的 3D 深 度 信息 
同 的 深度 信息 ， 例 如 对 同一 画面 来 进行 焦距 重 置 、 尺 寸 丈 量 、 增 强 现 实 贴图 等 处 理 


本 算法 仅 适 用 R200 摄 像 头 。 


5.1 ”增强 的 拍照 功能 


本 模块 支持 下 面 所 列举 的 增强 拍照 功能 。 


1.Color/Depth 图 像 尺寸 调整 
这 项 功能 调整 彩色 或 深度 图 像 尺寸 ， 并 与 原 图 保持 比例 匹配 。 图 5-1 为 原始 彩色 图 像 ， 图 5-2 分 别 为 原始 深度 图 像 ( 左 ) 和 调整 尺寸 后 的 深度 图 像 (£) 。 
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原始 彩色 图 像 


图 5-1 


图 5-2 ”原始 (д) 和 调整 后 (ж) 的 深度 图 像 
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图 5-3 RGB 图 像 、 原 始 深度 〈 右 上 ) 和 增强 深度 图 像 (F) 


3. 深 度 视 场 


该 功能 可 改变 对 焦点 ， 并 且 在 采集 画面 后 给 出 画面 的 深度 。 图 5-4 展 示 了 一 个 后 期 处 理 中 改变 图 像 焦点 的 例子 。 焦 点 对 准 了 水 果 ， 通 过 改变 焦点 ， 可 以 在 图 像 的 后 期 处 理 阶段 强调 画面 的 某 些 部 分 。 


4 测量 


该 功能 利用 采集 的 图 像 的 深度 信息 ， 在 拍摄 图 像 中 测量 了 元 素 的 几何 信息 。 图 5-5 展 示 了 测量 结果 的 一 个 例子 。 只 有 当 深 度 信息 与 图 像 一 起 被 记录 时 ， 才 能 进行 精确 的 测量 。 


图 5-4 后 期 处 理 中 改变 图 像 的 焦点 


__ а u TE 
h m Е ; i = 
Ф | "I в 
. Ë 


ЫГ а ы к 


图 5-5 测量 几何 距离 


5. 运 动 效 果 
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自由 度 运 动 的 效果 功能 用 于 给 2D 图 像 增 加 3D 效 果 。 利 用 视野 的 移动 能 力 ， 可 以 模拟 多 种 类 型 的 运动 效果 ， 最 常用 的 两 种 效果 如 下 : 


1) 视差 。 视 差 效 果 可 模拟 改变 视角 ， 并 创建 一 个 具有 深度 的 幻觉 的 单 张 画面 。 如 图 5-6 所 示 ， 移 动 视野 点 到 左边 或 右边 。 


图 5-6 ”移动 视野 点 到 左边 或 右边 


2) Dolly 变 焦 或 影院 效果 。Dolly 变 焦 或 影院 效果 意味 着 缩放 背景 ， 同 时 保持 主体 的 尺寸 不 变 。 给 观众 的 视觉 现象 ， 或 者 
先 的 环境 。 这 取决 于 Dolly 变 焦 执 行 了 哪 一 种 方法 。 


6. 平 面 粘贴 


平面 粘贴 效果 支持 在 平坦 的 (或 接近 平 的 ) 表面 上 贴纸 插入 ， 插 入 时 考虑 表面 的 方向 ， 如 图 5-7 所 示 。 


E = 
ХЕ В = 


的 尺寸 和 细节 突然 变 大 乃至 淹没 了 前 景 ,或 者 


图 5-7 “在 墙 上 粘贴 一 张贴 纸 
7. 剧 照 分 割 


该 功能 把 感 兴趣 的 像素 (如 动物 、 人 物 等 ) 从 照片 图 像 中 分 离 出 来 。 用 户 先 标记 边界 框 ( 感 兴趣 的 对 象 ) ， 然 后 利用 明确 的 背景 和 前 景 像素 提取 结果 。 图 5-8 展 示 了 从 背景 (例如 一 个 杯子 和 桌子 ) 中 分 
离 出 头 的 一 个 例子 。 
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图 5-8 分离 感 兴趣 的 像素 〈 左 : 原始 ， 右 : 分 割 ) 


8. 两 层 分 割 


两 层 分 割 基于 用 户 输入 提供 了 一 个 前 景 掩 模 和 一 个 背景 掩 模 ， 可 以 进行 前 景 和 背景 的 分 割 。 掩 模 可 以 用 来 创建 图 像 上 的 艺术 效果 ， 如 图 5-9 所 示 。 


图 5-9 АЉ 


9. 增 强 报 影 功能 
要 使 用 增强 摄影 功能 ， 首 先 要 创建 Enhanced-Photo 接 口 实例 ， 然 后 调用 相应 的 成 员 函 数 ， 例 如 调用 DepthRefocus 函 数 用 于 聚焦 画面 ， 或 调用 MeasureDistance 函 数 用 于 测量 画面 中 两 点 的 距离 。 
例 5-1 展 示 了 如 何 重新 调整 焦点 。 


例 5-1 重新 调整 焦点 示例 


C# 

// session 是 一 个 PXCSession 实例 

// 创建 一 个 增强 EP 实例 

PXCMEnhancedPhoto ер; 
session.CreateImpl<PXCEnhancedPhoto> (out ер); 
// 图 像 重 聚焦 
// photo 是 一 个 PXCPhoto 实例 
PXCMPointI32 focusPoint=new PXCMPointI32 (20, 20); 

PXCMPhoto photo2=ep.DepthRefocus (photo, focusPoint); 

// 在 photo2 进行 某 些 处 理 

http: / /www,hzeourse,com/resource/readhook;path=/openresources/teach ероок/опсотртезѕед/15635/0ЕВРЗ/Тех/. http://www. hzcourse:com/resource/readBook?path=/openresources/teach et 
// 清理 

photo2 .Dispose (); 

ep.Dispose () ; 


5.2 ”增强 的 录像 功能 


1. 访 问 增强 录像 功能 


可 以 像 其 他 视频 处 理 算 法 ， 如 脸 或 手 跟踪 一 样 ， 使 用 增强 录像 制作 功能 ， 它 们 都 由 SenseManager 流 水 线 管理 。 使 用 EnableEnhancedVideo 函 数 来 激活 增强 的 录像 处 理 ， 并 配置 相应 的 功能 。 例 5-2 展 
示 了 如 何 配置 分 层 跟踪 功能 和 检索 跟踪 数据 。 


例 5-2 ”分 层 跟 踪 并 预览 图 像 


C# 
// 创建 一 个 SenseManager 实例 
PXCMSenseManager sm=PXCMSenseManager .CreateInstance (); 
// 激活 增强 视频 功能 
sm.EnableEnhancedVideo () ; 
// 获取 增强 视频 实例 
PXCMEnhancedVideo ev=sm.QueryEnhancedVideo (); 
// 初始 化 摄像 头 及 相关 模块 
sm.Init(); 
// 流水 线 处 理 数 据 帧 
while (sm.AcquireFrame (true) .IsSuccessful()) { 
// 用 物体 掩 膜 配置 算法 
if (ObjectSelectedInGUI()) { 


ev.EnableTracker (object mask); 


) 
// 获取 跟踪 结果 
PXCMImage tracking mask=ev.QueryTrackedObject (); 
f (tracking mask!=null) { 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/ 


ms: 


) 
// 进行 下 一 帧 处 理 准备 


sm.ReleaseFrame (); 


} 
// 清理 
sm.Dispose () ; 


2. 层 跟踪 


SDK 支 持 基 于 前 景 和 背景 的 分 层 跟踪 ， 该 功能 可 在 预览 图 像 的 序列 中 跟踪 感 兴趣 的 对 象 。 层 跟踪 功能 返回 可 用 于 创建 艺术 滤 镜 的 前 景 和 背景 掩 模 ， 从 而 提供 基于 层 的 跟踪 。 前 景 掩 模 包 括 所 有 与 感 兴趣 
对 象 在 同一 深度 的 像素 。 


5.3 ”访问 照片 


大 多 数 增强 摄影 (EP) 功能 以 照片 图 像 作为 输入 进行 后 期 处 理 。 照 片 实例 可 以 从 一 个 Depth Enhanced JPEG 文 件 或 从 任何 预览 图 像 获得 。 照 片 实 例 包含 以 下 信息 : 
мё: 照片 的 彩色 图 像 。 

ЖА: 照片 的 深度 图 像 。 

. 校准 数据 : 深度 图 像 坐标 映射 到 彩色 图 像 坐 标 所 需 的 辅助 信息 。 

1. 从 预览 创建 照片 

可 以 采用 下 面 的 步骤 从 预览 样本 取得 照片 实例 ( 见 例 5-3) : 

1) 使 用 CreatePhoto 函 数 创建 一 个 照片 图 像 实例 。 

2) 使 用 ImportFrompPreviewSample 函 数 从 预览 采样 中 初始 化 照片 内 容 。 


例 5-3 利用 SenseManager 进 行 快照 


C# 

void TakeSnapShot() { 
// 创建 一 个 SenseManager 实例 
PXCMSenseManager sm=PXCMSenseManager .CreateInstance (); 
// 创建 一 个 photo 实例 
PXCMPhoto photo=sm.session.CreatePhoto () ; 
// ЛЕЛ 6 Ao АЖ 
sm.EnableStream(PXCMCapture.StreamType.STREAM TYPE COLOR, 320,240,30); 
sm.EnableStream(PXCMCapture.StreamType.STREAM TYPE DEPTH, 320,240,30); 
// 初始 化 流 采 样 
sm.Init(); 


for (;;) { 
// 下 面 的 操作 一 直 处 于 阻塞 状态 直到 采样 数据 准备 好 
if (sm.AcquireFrame (true) .IsError()) break; 


// 获 取 photo 图 片 

PXCMCapture.Sample sample=sm.QuerySample () ; 

// 如 果 快 照 适 用 ,在 photo 上 采用 增强 摄影 函数 进行 处 理 

photo.ImportFromPreviewSample (sample) ; 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/ 
// 进行 下 一 组 采样 处 理 准 备 

sm.ReleaseFrame () ; 


} 

// 清理 
photo.Dispose () ; 
sm.Dispose () ; 


2. 从 文件 创建 照片 
可 以 采用 以 下 步骤 从 Depth Enhanced JPEG 文 件 中 获取 照片 实例 ( 见 例 5-4) : 
` 使 用 CreatePhoto 函 数 创 建 一 个 照片 图 像 的 实例 。 
- 4# A] Load XDM ú žk hn 1% ЖТ} P 69 АА, 


例 5-4 ”从 文件 读 取 照片 


C# 

// session 是 一 个 EXCSession 实例 

// 创建 photo 实 例 

PXCMPhoto photo=session.CreatePhoto (); 
// 加 载 XMP 文 件 

photo.LoadXDM( “C: /mywork/photo.xmp” ); 
// 清理 

photo.Dispose () ; 


3. 保 存 照片 至 文件 夹 
类 似 的 ， 可 以 利用 SaveXDM 函 数 输出 到 Depth Enhanced JPEG 文 件 ， 见 例 5-5。 
例 5-5 输出 照片 到 文件 


C# 
// photo 是 一 个 PXCPhoto 实例 
photo.SaveXDM( “C: /mywork/photo.xmp” ); 


54 ”深度 增强 的 持 


т 15. Јао 


~ 1 


RF ЕпһапсеаРһоїодгарһу(С++, C#) 

RF_EnhancedPhotography 示 例 演 示 了 SDK 的 增强 摄影 功能 。 示 例 把 预览 图 像 转换 为 照片 图 像 ， 并 执行 诸如 重新 聚焦 和 距离 测量 等 增强 型 摄影 操作 。 

(1) 启动 

示例 可 以 直接 从 SDK 安 装 的 bin 文 件 夹 使 用 Microsoft Visual Studio 启 动 、 编 译 和 执行 。 该 项 目 和 源 文件 在 sample/RF_EnhancedPhotography 文 件 夹 内 。 
(2) 图 形 用 户 界 面 


示例 窗口 如 图 5-10 所 示 。 


ге between (135,236) - (314,207) = 22.90 cm 


5-10 ”图像 增强 与 距离 测量 示例 


从 菜单 中 ， 用 户 可 以 选择 输入 设备 。 单 击 Preview 按 钮 开始 实时 流 ， 这 个 按钮 开关 可 以 切换 Preview 模 式 和 Snapshot 模 式 。 选 择 好 图 片 ， 然 后 单 击 “快照 ”按钮 ， 则 该 图 像 将 被 冻结 ， 此 时 可 对 快照 图 
像 进行 如 下 的 操作 。 


Refocus (重新 聚焦 ) : 单 击 “ 重 新 聚焦 ” 单 选 按钮 ， 并 用 鼠标 选择 快照 映像 上 的 任何 一 点 ， 则 图 像 被 重新 聚焦 到 鼠标 位 置 。 
` Measure (测量) : 单 击 快照 图 像 上 的 “测量 ” 单 选 按钮 ， 然 后 单 击 任意 两 点 ， 示 例 将 计算 两 个 点 之 间 的 距离 ， 并 显示 在 状态 栏 上 
` Depth Enhance (深度 增强 ) : 单 击 “ 深 度 增强 ” 单 选 按钮 ， 示 例 将 显示 增强 的 〈 孔 填充 ) 深度 图 像 。 
` Depth Upscale (深度 增 大 尺度 ) : 单 击 “ 深 度 增 大 尺度 ” 单 选 按钮 ， 示 例 将 把 深度 图 像 放 大 到 与 彩色 图 像 相 同 的 分 辨 率 。 
· Paste OnPlane (平面 粘贴 ) : 单 击 “平面 粘贴 ” 单 选 按钮 ， 并 单 击 两 个 快照 映像 上 的 点 ， 示 例 将 粘贴 笑脸 到 图 像 中 的 平面 上 ， 两 点 用 于 指定 笑脸 图 像 的 左上 角 和 左下 角 位 置 。 
Color Pop: 单 击 快照 图 像 的 Color Pop 单 选 按 钮 ， 然 后 单 击 一 个 点 ， 示 例 将 显示 围绕 指定 点 的 彩色 区 域 ， 同 时 抑制 图 像 其 余部 分 像素 的 颜色 。 
2.RF SegmentationEP(C++) 
RF_segmentationEP 示 例 是 一 个 C+ + 应 用 程序 ， 演 示 了 SDK 增 强 的 摄影 功能 。 示 例 将 预览 图 像 转换 为 照片 图 像 ， 然 后 对 感 兴 趣 的 区 域 进行 分 割 。 可 以 手动 标记 前 景 像素 来 编辑 生成 的 分 割 掩 模 。 
(1) 启动 
示例 可 以 直接 从 SDK 安 装 的 bin 文 件 夹 使 用 Microsoft Visual studio 启动 、 编 译 和 执行 。 该 项 目 和 源 文件 在 sample/RF_ SegmentationEP 文 件 夹 内 。 
(2) 图 形 用 户 界面 


示例 窗口 如 图 5-11 所 示 。 可 以 使 用 设备 菜单 选择 不 同 的 摄像 头 。 


图 5-11 RF _SegmentationEP 界 面 


可 以 设置 摄像 头 对 准 一 些 场景 ， 单 击 Preview 按 钮 开始 预览 图 像 。 单 击 Preview 之 后 按钮 将 变 为 SnapShot 按 钮 。 当 找到 满意 的 场景 后 ， 单 击 SnapShot 按 钮 来 拍摄 快照 ， 如 图 5-12 所 示 。 单 击 SnapShot 
按钮 后 变 回 Preview 按 钮 ， 便 于 重新 拍 快照 。 


Restart 
Segmentation 


5-12 ”预览 并 拍照 


在 快照 模式 下 ， 可 以 在 显示 面板 上 绘制 指定 的 分 割 感 兴趣 区 域 。 在 完成 感 兴趣 区 域 (如 红色 矩形 ) 选择 后 ， 示 例 开始 自动 分 害 。 示 例 将 前 景 像素 显示 为 原始 颜色 ， 背 景 的 像素 显示 为 灰色 ， 如 图 5-13 所 


个 \。 


5-13 务 出 区 域 并 进行 分 害 


可 以 手动 绘制 蓝 线 指示 前 景 像素 应 该 是 哪 一 部 分 来 细 化 分 割 掩 模 。 对 于 每 一 次 手动 校正 ， 示 例 将 重新 产生 分 割 掩 模 ， 并 在 显示 板 上 显示 掩 模 后 的 图 像 ， 如 图 5-14 所 示 。 


图 5-14 手动 校正 分 割 掩 模 


3.RF_MotionEffectEP(C++) 
RF_MotionEffectEP 示 例 是 一 个 C++ 应 用 程序 ， 演 示 了 SDK 增 强 摄影 运动 效果 的 功能 。 示 例 将 预览 图 像 转 化 为 照片 图 像 ， 并 显示 了 不 同 的 运动 效果 ， 例 如 旋转 和 缩放 。 
(1) 启动 
示例 可 以 直接 从 SDK 安 装 的 bin 文 件 夹 使 用 Microsoft Visual studio 启动、 编译 和 执行 。 该 项 目 和 源 文件 在 sample/RF_MeotionEffectEP 文 件 夹 内 。 
(2) 图 形 用 户 界面 


示例 窗口 如 图 5-15 所 示 ， 可 以 使 用 设备 菜单 选择 不 同 的 摄像 头 。 
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5-15 RF_MotionEffectEP 界 面 


可 以 设置 摄像 头 对 准 一 些 场景 ， 并 单 击 Preview 按 钮 开始 预览 图 像 。 单 击 Preview 按 钮 之 后 变 为 SnapShot 按 钮 。 当 找到 满意 的 场景 后 ， 可 以 单 击 SnapShot 按 钮 来 拍摄 快照 ， 如 图 5-16 所 示 。 单 击 
SnapShot 按 钮 之 后 变 回 Preview 按 钮 ， 便 于 重新 拍 快照 ， 如 图 5-17 所 示 。 
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图 5-16 ”预览 图 像 
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5-17 单 击 SnapShot 按 钮 以 获得 快照 
在 拍照 模式 下 ， 可 以 使 用 右 侧 的 运动 控制 以 查看 不 同 的 运动 效果 。 该 示例 展示 了 移动 、 旋 转 等 效果 ， 如 图 5-18 所 示 。 示 例 可 以 进行 以 下 操作 。 
. 移动 照片 图 像 : 左 、 右 、 上 、 下 、 前 进 或 后 退 。 
` 旋转 照片 图 像 : 使 用 信仰 、 偏 航 、 翻 滚 控制 。 


“ 放大 或 缩小 照片 图 像 。 
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图 5-18 应 用 缩放 控制 


4.RF TrackingEV(C++) 
RF_TrackingEV 示 例 是 一 个 C++ 应 用 程序 ， 展 示 了 SDK 增 强 视频 制作 功能 。 示 例 通过 使 用 分 层 跟踪 算法 跟踪 关注 区 域 中 指定 的 对 象 。 
(1) 启动 
示例 可 以 直接 从 SDK 安 装 的 bin 文 件 夹 使 用 Microsoft Visual Studio 启 动 、 编 译 和 执行 。 该 项 目 和 源 文件 在 sample/RF_TrackingEV 文 件 夹 内 。 
(2) 图 形 用 户 界面 


预览 图 像 中 的 示例 显示 窗口 如 图 ?-19 所 示 ， 可 以 使 用 设备 菜单 选择 不 同 的 摄像 头 。 可 以 设置 摄像 头 对 准 现场 ， 并 单 击 Preview 按 钮 。 


5-19 ”预览 图 像 窗 口 


在 预览 过 程 中 ， 可 以 用 鼠标 在 显示 面板 上 ， 通 过 绘制 红色 和 矩形 来 指定 感 兴趣 的 对 象 。 然 后 使 用 分 层 跟踪 算法 来 跟踪 对 象 ， 并 且 用 灰色 的 颜色 屏 菩 所 有 背景 像素 ， 如 图 5-20 所 示 。 可 以 移动 摄像 头 ， 观 察 
场景 中 跟踪 对 象 的 情况 。 


图 5-20 采用 分 层 跟踪 算法 跟踪 目标 


第 6 和 章 ” 脸 部 跟踪 算 ; 


脸 部 跟踪 是 游戏 娱乐 、 沉 浸 式 协作 等 增强 现实 领域 的 重要 功能 。 本 章 详 述 了 SDK 的 脸 部 跟 踊 实 现 流程 、 特 征 与 位 置 数据 、 姿 态 与 表情 、 面 部 识别 等 具体 功能 与 算法 的 实现 。 
SDK 中 的 脸 部 跟踪 模块 提供 了 以 下 脸 部 算法 。 
' 脸 部 检测 : 从 一 幅 图 像 或 视频 流 中 检测 脸 部 (一 个 或 多 个 脸 部 ) ， 脸 部 跟踪 用 拢 形 框 进行 脸 部 的 位 置 定位 ， 利 用 这 一 方法 可 以 计算 出 照片 上 有 多 少 张 脸 部 并 找到 它们 的 位 置 。 
` 特征 点 检测 : 对 于 给 定 的 面部 矩形 框 ， 可 以 进一步 进行 识别 特征 点 〈 眼 睛 、 嘴 巴 等 ) 。 对 于 应 用 程序 来 讲 ， 眼 部 的 位 置 是 非常 重要 的 特征 点 所 在 ， 应 用 程序 据 此 大 致 确定 用 户 所 看 的 屏幕 位 置 。 其 他 
特征 可 用 于 创建 一 张 脸 部 形象 或 找 出 头 的 方向 。 
. 姿态 检测 : 当 用 户 脸 部 看 向 某 块 区 域 时 ， 姿 态 检 测 可 以 估计 脸 部 的 朝向 。 


. 表情 检测 : 检测 可 能 的 一 些 脸 部 表情 ， 像 闭 眼 、 皱 眉头 等 。 


. 面部 识别 ; 扫描 一 系列 识别 数据 库 中 的 参考 图 片 ， 将 其 与 当前 的 脸 部 进行 特征 比 对 ， 从 而 确定 用 户 身份 。 


61 ” 脸 部 跟踪 编程 
可 以 利用 EnableFace 函 数 激 活 SenseManager 流 水 线 中 的 脸 部 跟踪 算法 。 在 应 用 程序 中 可 以 采用 两 种 方式 实现 脸 部 跟踪 : 使 用 SenseManager 过 程 函 数 或 使 用 SenseManager 回 调 函 数 。 


1. 使 用 SenseManager 程 序 函 数 进 行 脸 部 跟踪 
例 6-1 展 示 了 一 个 典型 的 脸 部 检测 应 用 程序 实例 。 


例 6-1 典型 的 脸 部 检测 程序 


C# 

// 创建 SenseManager 实例 

PXCMSenseManager sm=PXCMSenseManager .CreateInstance (); 
// 使 能 脸 部 检测 

sm.EnableFace () ; 


// 获取 脸 部 实例 以 进行 配置 
PXCMFaceModule face=sm.QueryFace (); 
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// 初始 化 流水 线 

sm.Init(); 

// 流 式 处 理 数据 

while (sm.AcquireFrame (true) .IsSuccessful()) { 
// 获取 脸 部 跟踪 结果 
PXCMFaceModule face2=sm.QueryFace () ; 
if (face2!=null) { 
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} 
// 进行 下 一 帧 数据 处 理 准备 
sm.ReleaseFrame (); 


} 
// 清 理 
sm.Dispose () ; 


例 6-1 所 做 的 工作 如 下 : 


1) 实例 化 SenseManager 对 象 。 


2) 通过 EnableFace 函 数 激活 脸 部 跟踪 ， 并 通过 QueryFace 获 取 FaceModule 接 口 的 一 个 实例 来 执行 自 定义 操作 ， 如 配置 脸 部 跟踪 功能 。 该 FaceModule 实 例 一 直 有 效 ， 直 到 调用 Close 冰 数 关 闭 处 理 流 


水 线 。 


3) 初始 化 SenseManager 处 理 流水 线 ， 通 过 AcquireFrame 和 ReleaseFrame 循 环 遍历 图 像 帧 。 一 旦 脸 部 分 析 结 果 可 用 ， 例 如 脸 部 被 检测 到 ，QueryFace 遂 数 将 返回 一 个 有 效 的 实例 。 这 里 用 
QueryFace 函 数 进 行 检查 是 可 选 的 ， 因 为 如 果 在 调用 AcquireFrame 函 数 时 ifall=true，AcquireFrame 会 阻塞 直到 所 有 模式 的 结果 都 准备 好 为 止 ， 此 后 再 调用 QueryFace 实 际 已 有 脸 部 分 析 结 果 了 。 


4) 在 流 式 处 理 过 程 中 ， 可 以 调用 PauseFace 函 数 在 某 些 指 定 的 条 件 下 暂停 或 者 恢复 脸 部 跟踪 。 
5) 清理 实例 。 
2. 使 用 SenseManager 回 调 函 数 进行 脸 部 跟踪 


也 可 以 使 用 SenseManager 的 回调 函数 ， 例 6-2 展 示 了 采用 回调 方式 的 脸 部 跟踪 应 用 ， 当 有 数据 需要 处 理 时 ，SDK 启 动 OnModuleProcessedFrame 回 调 函 数 (或 者 是 OnFrameProcessed 事 件 ) 。 


16-2 采用 回调 方式 的 脸 部 跟踪 


C# 
pxcmStatus OnModuleProcessedFrame (int mid, PXCMBase module, PXCMCapture.Sample sample) { 
// 检查 回调 是 否 来 自 于 脸 部 跟踪 模块 
if (mid==PXCMFaceModule.CUID) í 
PXCMFaceModule face=module.QueryInstance<PXCMFaceModule> () ; 
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) 
// 返 回 NO_ERROR 继 续 ; 如 果 出 错 则 报错 并 放弃 
return pxcmStatus.PXCM STATUS NO ERROR; 


} 

// 创建 SenseManager 实例 
PXCMSenseManager зп=РХСМбепѕеМападег.СгеаёеІпѕіапсе (); 
// 使 能 脸 部 跟踪 

sm.EnableFace (); 

// 获取 脸 部 实例 以 进行 特征 配置 

PXCMFaceModule face=sm.QueryFace (); 
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// 初始 化 
PXCMSenseManager.Handler handler=new PXCMSenseManager.Handler { 
onModuleProcessedFrame=0nModuleProcessedFrame; 


}; 

sm.Init (handler); 

// КА 
sm.StreamFrames (true); 
// 清理 

sm.Dispose () ; 


前 面 操 作 同 例 6-1， 但 将 数据 处 理 放 在 回调 函数 内 执行 ， 这 种 操作 方式 不 会 阻塞 应 用 程序 的 运行 。 


6.2 ”配置 和 数据 获取 


脸 部 跟踪 模块 开放 了 3 个 主要 接口 。 
FaceModule (模块 接口 ) : 该 接口 提供 函数 来 创建 以 下 两 个 接口 的 实例 。 
` FaceConfiguration (配置 接口 ) : 使 用 该 接口 以 配置 脸 部 跟踪 模块 ， 包 含 脸 部 检测 、 边 界 检 测 、 姿 态 检测 和 告警 处 理 。 
FaceData (数据 获取 接口 ) : 使 用 该 接口 以 获取 任何 有 效 的 跟踪 和 告警 数据 。 
注 “FaceConfiguration 是 一 个 存储 类 ， 创 建 后 将 独立 于 脸 部 跟踪 模块 。 可 以 使 用 Update 函 数 获取 最 近 模 块 配 置 参 数 ， 并 使 用 ApplyChanges 函 数 改变 配置 ， 并 回 送 给 脸 部 跟踪 模块 ， 如 例 6-3 所 示 。 


例 6-3 ”配置 脸 部 跟踪 


C# 
// face 是 一 个 PXCFaceModule 实例 


PXCMFaceConfiguration cfg=face.CreateActiveConfiguration (); 


// 使 能 所 有 的 警告 


cfg.EnableAllAlerts (); 
// 应 用 改变 
cfg.ApplyChanges () ; 

// 清理 

cfg.Dispose (); 


类 似 的 ，FaceData 也 是 一 个 存储 类 ， 可 以 使 用 Update 函 数 来 获取 最 近 的 处 理 数据 ， 如 例 6-4 所 示 。 


例 6-4 ”获取 脸 部 跟踪 处 理 的 数据 


C# 

// face 是 一 个 PXCFaceModule 实例 
PXCMFaceData fdata=face.CreateOutput () ; 
// 获取 跟踪 脸 部 的 数量 
Int32 nfaces=fdata.QueryNumberOfDetectedF'aces () ; 


// 清理 
fdata.Dispose () ; 


63 Веја 


如 果 在 初始 化 期 间 使 能 脸 部 位 置 检测 (FaceConfiguration.detection.IsEnabled=true) ， 就 能 使 用 QueryDetection 函 数 或 者 访问 detection 属 性 来 获取 脸 部 位 置 数据 。 而 实际 上 ， 在 任何 图 像 上 都 有 
可 能 有 多 个 脸 部 ， 每 个 脸 部 都 将 被 赋予 一 个 与 众 不 同 的 身份 标识 。 为 了 计算 一 张 图 片上 的 脸 部 数量 ， 可 以 使 用 QueryFaceBylndex 函 数 或 者 访问 faces 属 性 。 


Bounding box (边界 框 ) : 边界 框 是 矩形 区 域 ， 在 彩色 图 像框 内 就 是 检测 到 的 脸 部 。 该 边界 框 有 时 候 能 精确 匹配 检测 到 的 脸 部 的 大 小 ， 但 有 时 候 不 能 ， 这 取决 于 场景 的 照度 等 因素 。 利 用 
QueryBoundingRect 函 数 或 者 访问 boudingRect 属 性 可 以 获取 边界 框 的 值 。 


Average depth (平均 深度 ) : 平均 深度 值 表明 检测 到 的 脸 部 距离 摄像 头 的 距离 。 使 用 QueryFaceAverageDepth 函 数 或 者 访问 faceAverageDepth 属 性 可 以 获取 平均 深度 值 。 
例 6-5 说 明了 获取 脸 部 位 置信 息 的 步骤 。 


例 6-5 ”获取 脸 部 坐标 信息 


C# 
// fdata 是 一 个 PXCFaceData 实例 
Int32 nfaces=fdata.QueryNumberOfDetectedFaces (); 
for (Int32 i=0;i<nfaces;i++) Í 
// 获取 脸 部 位 置 数 据 实例 
PXCMFaceData.Face face=fdata.QueryFaceByIndex (і); 
PXCMFaceData.DetectionData ddata=face.QueryDetection (); 
// 在 DetectionData 上 处 理 
PXCMRectI32 rect; 
ddata .QueryBoundingRect (out rect); 
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64 脸 部 特征 点 数据 


类 似 于 脸 部 位 置 检测 ， 使 能 了 特征 点 (Landmark) 检测 (FaceConfiguration.landmarks.IsEnabled=true) ， 可 使 用 QueryLandmarks 函 数 或 者 访问 landmarks 属 性 来 获取 任何 被 检测 到 的 特征 点 。 
SDK 可 支持 的 特征 点 如 图 6-1 所 示 。 


Б ss | í 


=; 


A 


图 6-1 78 个 特征 点 位 置 
在 不 同 的 实现 中 ，SDK 支 持 的 特征 点 的 数量 可 能 会 发 生变 化 ， 所 以 不 要 硬性 地 在 应 用 中 对 特征 点 数量 进行 限定 。 
可 以 根据 不 同 的 需求 获取 检测 到 的 特征 点 ， 通 过 QueryPoints 或 者 访问 Points 属 性 获取 所 有 特征 点 ， 或 通过 QueryPointsByGroup 按 组 获取 ， 或 通过 QueryPoint 获 取 指 定 的 单个 点 。 
例 6-6 展 现 了 获取 脸 部 特征 点 数据 的 步骤 。 


例 6-6 获取 脸 部 特征 点 数据 


// fdata 是 一 个 PXCFaceData 实例 

Int32 nfaces=fdata.QueryNumberOfDetectedFaces (); 

for (Int32 i=0;i<nfaces;i++) ( 
// 获取 脸 部 特征 点 数据 实例 
PXCMFaceData.Face face=fdata.QueryFaceByIndex (i); 
PXCMFaceData.LandmarksData Idata=face .QueryLandmarks () ; 
// 获取 特征 点 数据 
PXCMFaceData.LandmarkPoint[] points; 

Idata.QueryPoints (out points); 


65 PARASE 


本 节 内 容 适 用 于 F200、SR300 摄 像 头 。 
使 能 了 姿态 检测 (FaceConfiguration.pose.lsEnabled=true) ， 可 以 使 用 QueryPose 函 数 或 者 pose 属 性 来 获取 任何 检测 到 的 姿态 数据 ， 其 包含 了 如 下 信息 : 
1) Head Position ( 头 部 坐标 ) : 使 用 QueryHeadPosition 函 数 或 者 访问 headPosition 属 性 可 以 获取 头 部 坐标 参数 。 


2) Euler Angles ( 欧 拉 角 ) : 欧 拉 角 能 表明 脸 部 的 姿态 朝向 ， 图 6-2 中 说 明 3 个 坐标 轴 向 上 的 旋转 偏 移 量 。 使 用 QueryPoseAngles 函 数 或 者 访问 PoseAngles 属 性 可 以 获取 欧 拉 角 的 值 。 


Yaw 


图 6-2” 脸 部 欧 拉 角 示 意 


3) Position Quaternion (位 置 四 元 素 ) : 通过 Query-PoseQuaternion 函 数 或 者 访问 poseQuaternion 属 性 来 获取 世界 坐标 系 下 脸 部 的 位 置信 息 。 
4) Rotation Matrix (ЖЕ БЇ) : 通过 Query-Rota-tion-Matrix 消 数 或 者 访问 rotationMatrix 属 性 来 获取 表征 脸 部 姿态 的 旋转 矩阵 。 
例 6-7 举 例 说 明了 获取 面部 姿态 数据 的 步骤 。 


{16-7 ”获取 姿态 估算 数据 


C# 

// fdata 是 一 个 PXCFaceData 实例 

Int32 nfaces=fdata.QueryNumberOfDetectedFaces (); 

for (Int32 i=0;i<nfaces;i++) ( 
// 获取 脸 部 特征 点 数据 实例 
PXCMFaceData.Face face=fdata.QueryFaceByIndex (i); 
PXCMFaceData.PoseData pdata=face.QueryPose () ; 
// 获取 姿态 信息 
PXCMF'aceData.PoseEulerAngles angles; 
pdata.QueryPoseAngles (out angles); 


} 
// device 是 一 个 PXCMCapture.Device 实例 
device.ResetPropertiesUponFocus (); 


66 面部 表情 


本 节 内 容 适 用 于 F200 摄像 头 。 

1. 配 置 面部 表情 检测 
为 了 配置 面部 表情 检测 ， 可 以 使 用 ExpressionsConfiguration 接 口 ， 如 例 6-8 所 示 。ExpressionsConfiguration 接 口 能 打开 或 关闭 检测 算法 ， 并 配置 用 户 的 表情 。 
例 6-8 ”配置 面部 表情 检测 


C# 

// facec 是 一 个 PXCFaceConfiguration 实例 
PXCMFaceConfiguration.ExpressionsConfiguration expc=facec.QueryExpressions (); 
expc.Enable () ; 
expc.EnableAllExpressions () ; 
facec.ApplyChanges () ; 


2. 表 情 数据 
如 果 使 能 了 面部 表情 检测 ， 可 以 使 用 QueryExpressions 函 数 或 者 访问 expressions 属 性 获取 任何 检测 到 的 表情 数据 ， 它 将 在 ExpressionsData 接 口中 被 描述 。SDK 算 法 支持 以 下 的 表情 内 容 。 
1) Head Movement ( 头 部 移动 ) : 例如 头 部 左 转 或 右 转 。 
2) Eyebrow Movement (眉毛 的 动作 ) : 例如 左右 眉毛 的 动作 ， 抬 局 、 和 皱眉 。 
3) Eye Movement (眼光 的 移动 ) : 例如 眼光 向 左 、 向 右 。 
4) Mouth Movement (嘴巴 的 移动 ) : 例如 嘴巴 张 开 或 者 做 努 嘴 的 动作 。 
每 个 表情 都 有 一 个 相关 的 Intensity 参 数 ， 它 是 FaceExpressionResult 结 构 中 的 一 部 分 ， 能 指明 检测 的 相似 性 或 尺度 。 
例 6-9 举 例 说 明了 获取 表情 数据 的 步骤 。 


例 6-9 ”获取 表情 数据 


C# 

// fdata 是 一 个 PXCFaceData 实例 

Int32 nfaces=fdata.QueryNumberOfDetectedF'aces () ; 

for (Int32 i=0;i<nfaces;i++) { 
// 获取 数据 实例 
PXCMFaceData.Face face=fdata.QueryFaceByIndex (i); 
PXCMFaceData.ExpressionsData edata=face.QueryExpressions (); 
// 获取 表情 信息 
PXCMFaceData.ExpressionsData.FaceExpressionResult score; 
edata.QueryExpression (PXCMFaceData.ExpressionsData.FaceExpression. EXPRESSION SMILE, out score); 
// 基于 检测 到 的 表情 所 采取 的 动作 
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6.7 面部 识别 


通常 意义 上 的 脸 部 识别 就 是 评估 两 张 脸 之 间 的 相似 性 ， 一 张 脸 来 自 于 指定 待 测 图 像 ， 另 外 来 自 于 识别 数据 库 中 的 一 些 参考 图 像 。 识 别 测 量 执行 时 将 会 引用 数据 库 中 所 有 的 参考 图 像 。 如 果 和 最 匹配 参考 
图 像 的 评估 得 分 通过 了 设 定 的 冰 值 ，SDK 就 认为 用 户 识别 成 功 ， 识 别 的 结果 就 是 与 参考 图 像 关 联 的 用 户 标 识 符 。 因 此 ， 对 于 任何 的 脸 部 识别 ， 应 用 程序 必须 执行 下 列 一 项 或 者 多 项 识别 数据 库 操 作 。 


1) Create/Delete Database (新 建 /删除 数据 库 ) : 新 建 一 个 识别 数据 库 并 在 使 用 完 后 释放 它 。RecognitionConfiguration 接 口 支持 创建 多 个 的 识别 数据 库 ， 用 户 能 在 其 中 进行 选择 切换 。 脸 部 识别 
在 当前 活动 识别 数据 库 中 进行 处 理 。 要 注意 的 是 ， 如 果 没 有 定义 识别 数据 库 的 话 ， 算 法 将 创建 一 个 默认 的 活动 数据 库 。 


2) Load/Save Database ( 读 取 /存储 数据 库 ) : 可 以 把 数据 库 保存 到 磁盘 中 ， 并 在 之 后 再 读 取 它 。RecognitionModuleData 接 口 提供 成 员 函 数 以 导出 识别 数据 库 。RecognitionConfiguration 接 口 也 
可 以 导入 一 个 库 。 当 保存 数据 库 缓 存 到 文件 时 ， 建 议 采 用 适当 的 安全 措施 读 取 文 件 ， 以 保护 用 户 的 隐私 。 


3) Register/Unregister Users (注册 /注销 用 户 ) : 可 以 使 用 RegisterUser 函 数 在 数据 库 中 注册 用 户 的 脸 部 ， 这 样 用 户 就 成 为 数据 库 中 的 参考 源 之 一 。 推 荐 同一 用 户 注册 多 样 化 的 面部 (不 同 姿态 下 ) 
到 数据 库 中 ， 以 提高 识别 的 准确 率 。 如 果 有 更 好 的 参考 源 时 ， 可 以 通过 UnregisterUser 国 数 注销 某 个 用 户 。RecognitionConfiguration 接 口 也 引进 了 连续 注册 模式 ， 此 时 注册 算法 会 自动 检测 当前 用 户 是 否 


需要 被 注册 到 数据 库 中 。 


4) Recognize Current Расе (识别 指定 脸 部 ) : 使 用 QueryUserlID 函 数 在 当前 活跃 识别 数据 库 中 执行 指定 脸 部 的 识别 。 


1. 配 置 脸 部 识别 
为 了 配置 脸 部 识别 ， 可 以 使 用 RecognitionConfiguration 接 口 ， 如 例 6-10 所 示 。 


例 6-10 配置 脸 部 识别 


C# 

// cfg 是 一 个 PXCFaceConfiguration 实例 

PXCMFaceConfiguration.RecognitionConfiguration refg=cfg.QueryRecognition (); 

// 使 能 脸 部 识别 

rcfg.Enable () ; 

// 创建 一 个 识别 数据 库 

PXCMFaceConfiguration.RecognitionConfiguration.RecognitionStorageDesc desc=new PXCMFaceConfiguration.RecognitionConfiguration.RecognitionStorageDesc (); 
desc.maxUsers=10; 

rcfg.CreateStorage ("MyDB", desc); 

rcfg.UseStorage ("МурвВ"); 

// 设置 注册 模式 
rcfg.SetRegistrationMode (PXCMFaceConfiguration.RecognitionConfiguration.RecognitionRegistrationMode.REGISTRATION MODE CONTINUOUS) ; 
// 应 用 配置 改变 


cfg.ApplyChanges () ; 


2. 识 别 脸 部 
当 完 成 了 配置 以 后 ， 使 用 RecognitionData 接 口 执行 脸 部 识别 操作 ， 如 例 6-11 所 示 。 


6-11 脸 部 识别 操作 


C# 
// fdata 是 一 个 PXCFaceData 实例 
Int32 nfaces=fdata.QueryNumberOfDetectedF'aces () ; 
for (Int32 i=0;i<nfaces;i++) { 
// 获取 识别 数据 实例 并 执行 识别 
PXCMFaceData.Face face=fdata.QueryFaceByIndex (i); 
PXCMFaceData.RecognitionData rdata=face.QueryRecognition (); 
// 确认 是 否 识别 出 当前 脸 部 图 像 
Int32 uid=rdata.QueryUserID(); 
if (uid>=0) í 
// 进行 识别 后 的 处 理 
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3. 读 取 / 存 储 脸 部 数据 库 


例 6-12 说 明了 如 何 读 取 和 存储 识别 数据 库 。 


16-12 ” 读 取 /存储 脸 部 识别 数据 库 


C# 
// rdata 是 一 个 PXCFaceData::RecognitionData 实例 

// rcfg 是 一 个 PXCFaceConfiguration::RecognitionConfiguration 实例 

// 分 配 缓 冲 以 保存 数据 库 

PXCMFaceData.RecognitionModuleData rmd=rdata .QueryRecognitionModule (); 
Int32 nbytes=rmd.QueryDatabaseSize (); 

Byte[] buffer=new Byte [nbytes]; 

// 获取 数据 库 缓 存 
rmd.QueryDatabaseBuffer (buffer); 

// 保存 缓冲 到 文件 中 ， 并 应 用 工业 级 加 密 措 施 进行 隐私 保护 
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// 加 载 回 数据 库 缓 存 
rcfg.SetDatabaseBu 


er (buffer); 


68 脸 部 跟 足 应 用 举例 


1.FF EyeTracking(C++) 


FF_EyeTracking 样 例 展现 了 如 何 使 用 SDK 脸 部 跟踪 模块 完成 注视 点 跟踪 。 本 例 包 含 了 注视 点 跟踪 算法 中 的 校正 过 程 ， 可 通过 读 取 任何 之 前 保存 的 校正 数据 来 跳 过 校正 过 程 。 


FF_EyeTracking 样 例 源 代码 位 于 $(RSSDK_DIR)/sample/FF_EyeTracking， 预 构建 的 二 进 制 文件 在 文件 夹 $(RSSDK_DIR)/bin/$(Platform) 下 。 可 以 使 用 预 构建 的 二 进 制 文件 或 者 重新 构建 源 代码 的 可 执 
行文 件 。 之 后 复制 源 代码 到 一 个 可 写 目 录 ， 单 击 其 中 一 个 Microsoft Visual Studio 解 决 方案 来 构建 运行 程序 。 


本 例 主 要 界面 如 图 6-3 所 示 。 在 主 菜单 中 ， 可 以 执行 如 下 的 操作 。 

. Device: 选择 样 例 工作 的 摄像 头 设 备 ， 本 例 目 前 支持 Intel RealSense 摄 像 头 ，F200 模 型 。 

· Module: 选择 注视 点 跟踪 算法 。 

` Profile: 选择 2D 跟 踪 还 是 3D 跟 踪 ，2D 跟 踪 只 采用 彩色 信息 ，3D 跟 踪 增 加 了 深度 以 增强 注视 点 跟踪 的 准确 度 


: Mode: 选择 直播 、 录 制 或 者 录音 文件 操作 模式 。 


Device 


Module 


3D 


Intel(R) RealSense(TM) SDK: Eye Tracking 


Profile Mode 


ALERT_NEW_FACE_DETECTED 


图 6-3” 脸 部 跟踪 界面 


Rate (31 fps) 


2D: 2D 视 图 显示 了 包含 标注 数据 点 的 彩色 图 像 界 面 ， 比 如 一 张 脸 部 的 特征 点 和 姿态 。 


如 图 6-5 所 示 。 


可 以 通过 右边 的 复 选 框 选 择 额外 的 操作 。 
- Detection: 如果 选中 ， 将 在 脸 部 的 周围 画 一 个 天 形 框 。 
和 警告 信息 


息 。 


Landmatks: 如 果 选 中 ， 将 画 出 脸 部 的 特征 点 。 


quy 


显示 面板 包含 如 下 两 个 视图 。 
包含 标 
30: 3D 视 图 显示 了 包含 标注 数据 点 的 3D 界 面 ， 比 如 一 张 脸 部 的 特征 点 。 
Scale: 如 果 选 中 ， 显 示 面 板 的 图 像 可 以 进行 保持 长 宽 比 不 变 的 缩放 。 
注视 点 跟踪 算法 需要 注视 点 校正 过 程 ， 以 将 使 用 者 和 摄像 头 内 部 参数 进行 匹配 。 单 击 “Calib+Start” 按钮 开始 校正 过 程 ， 其 中 包含 了 屏幕 上 6 个 刺激 信号 点 ， 如 图 6-4 所 示 。 在 校正 过 程 之 后 ， 例 程 将 开 


如 果 之 前 已 经 完成 了 校正 并 且 保 存 过 数据 ， 就 可 以 跳 过 校正 过 程 。 可 以 点 击 Load Calib 按 钮 读 取 已 存 校正 数据 。 


' Pose: 如 果 选 中 ， 将 显示 脸 部 的 姿态 1 
在 注视 点 跟踪 过 程 中 ， 样 例 在 屏幕 中 生成 了 一 个 黄色 的 块 来 表明 人 眼 注视 的 位 置 。 在 样 例 窗口 底部 的 状态 栏 展 示 状 态 码 或 者 警 


可 以 单 击 Stop 按 钮 停止 注视 点 跟踪 。 


Z 


三 | 
ExZ%, 


图 6-4 ”注视 点 校正 界面 
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Rate (15 fps) ALERT_NEW_FACE_DETECTED 


篇 | Network 


图 6-5 ”注视 点 跟踪 过 程 中 
2.РЕ NineCubes(Unity) 
FF_NineCubes 样 例 展 现 了 利用 Unity 游 戏 引 擎 运行 SDK。 为 了 保证 插件 性 能 ， 样 例 需 要 使 用 Unity v4.1.0 PRO 及 之 后 的 版 本 。 
复制 样 例 源 文件 到 一 个 可 写 目 录 ， 双 击 Assets/NineCubes.unity 启 动 Unity editor， 然 后 运行 游戏 ， 运 行 截图 如 图 6-6 所 示 。 
默认 情况 下 ， 样 例 初 始 化 只 允许 脸 部 跟踪 。 可 以 单 击 左上 角 的 按钮 切换 到 手动 跟踪 模式 ， 或 者 添加 图 像 显示 模式 。 


脚本 Senselnput.cs 初 始 化 摄像 头 流 媒体 、 脸 部 和 手 部 跟踪 。 当 有 可 用 的 数据 时 (例如 摄像 头 或 者 脸 部 跟踪 、 手 部 跟踪 的 数据 ) ， 脚 本 就 会 发 送 事件 到 CubeMagic.cs。 


Unity - NineCubes.unity - Nin - РС, Мас & Linux Standalone* — O Ё. 
File Edit Assets GameObject Component Terrain Window Help 


I 4 ШЕ bai = =] 


Fres kapott ' Stats гт ls 


图 6-6 ”NineCubes 运 行 截图 


脚本 CubeMagic.cs 可 视 化 脸 部 和 手 部 跟踪 数据 ， 对 于 任意 跟踪 数据 (鼻子 位 置 或 者 手 部 位 置 ) ， 跟 踪 坐 标 都 归 一 化 到 视图 窗口 ， 然 后 均 分 为 9 个 部 分 ， 每 部 分 控制 一 个 立方 体 的 旋转 。 如 果 启 动 图 像 显 
示 模 式 ， 深 度数 据 帧 将 被 映射 到 当前 旋转 的 立方 体 。 


脚本 TextWindow.cs 在 背景 图 中 使 用 灰色 来 显示 脸 部 和 手 部 跟踪 数据 。 
3.DF_FaceTracking(C++, C#) 


DF_FaceTracking(C++) 和 DF_FaceTracking.cs(C#) 样 例 展示 如 何 使 用 脸 部 跟踪 特性 。 


脸 部 跟踪 样 例 主 界面 如 图 6-7 所 示 。 样 例 分 别 位 于 $(RSSDK_DIR)/sample/DF_FaceTracking 和 $(RSSDK_DIR)/framework/CSharp/DF_FaceTracking.cs 目 录 下 。 复 制 样 例 到 一 个 可 写 目录 ， 使 用 内 部 
自 带 的 解决 方案 文件 构建 运行 程序 。 


图 6-7 ” 脸 部 跟踪 样 例 主 界 面 


主 界面 如 图 6-8 所 示 。 在 主 菜单 中 ， 可 以 选择 如 下 的 项 目 。 


< Device: 从 I/O 〇 设备 列表 中 选择 设备 来 适应 脸 部 模块 。 


` Module: 从 脸 部 检测 和 特征 点 检测 模块 列表 中 选择 将 要 使 用 的 模块 。 


: Profile: 选择 算法 配置 为 2D/3D 跟 踪 或 检测 。 


Mode: 选择 直播 、 录 音 或 者 录制 模式 。 如 果 录 制 或 者 播放 被 选择 ， 样 例 将 提示 录制 、 录 音 的 文件 名 。 


Intel(R) RealSense(TM) SDK: Face Tracking = 


Device Module Profile Mode 
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<] 
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Rate (8 fps) ALERT_FACE_OUT_OF_FOV 


图 6-8 ” 脸 部 检测 和 脸 部 特征 点 检测 输出 (ООЖ) 
从 右边 的 复 选 框 可 以 选择 脸 部 跟踪 特性 。 

.Detection: 在 任何 被 识别 的 脸 部 周围 显示 一 个 矩形 框 。 

Landmarks: 在 识别 的 特征 点 位 置 上 显示 小 点 。 

' Pose: 在 右 侧 屏幕 显示 姿态 信息 。 

` Expressions: 在 屏幕 上 显示 脸 部 表情 评分 。 

· Recognition: 在 屏幕 上 显示 脸 部 识别 信息 。 


< Pulse: 心率 。 


可 以 单 击 start 按 钮 来 启动 流 媒体 和 脸 部 跟踪 。 在 窗口 底部 ， 样 例 展 示 了 流 媒体 状态 和 警告 信息 。 可 以 单 击 Stop 按 钮 来 停止 流 媒 体 。 图 6-8 和 图 6-9 展 示 了 脸 部 位 置 检测 和 特征 点 检测 。2D 显 示 面 板 (图 
6-8) 展示 了 有 标记 位 置 和 特征 点 的 彩色 图 像 。3D 显 示 面 板 (图 6-9) 展示 了 同一 图 像 的 世界 视图 。 


如 果 选 择 Pose、Expressions 和 和 Recognition， 样 例 将 在 显示 面板 的 左边 打印 出 坐标 数据 ， 如 图 6-10 所 示 。3cale 选 项 可 以 缩放 图 像 到 显示 面板 大 小 ， 或 者 按 原始 尺寸 显示 。 


Intel(R) RealSense(TM) SDK: Face Tracking 
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Device 


М Scale 
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Rate (15 fps) 


脸 部 检测 和 特征 点 检测 输出 〈3D 面 板 ) 


图 6-9 
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图 6-10 ”显示 脸 部 识别 坐标 数据 


如 果 选 择 Recognition， 可 以 在 成 功 识别 后 单 击 Register 按 钮 注册 一 个 新 的 用 户 ,， 或 者 单 击 Unregister 按 钮 来 注销 一 个 用 户 。 样 例 在 屏幕 上 显示 了 识别 用 户 的 名 称 。 


第 / 草 FARRAR 


在 与 用 户 的 自然 交互 中 ， 手 势 跟踪 是 摆脱 键盘 、 鼠 标 等 人 为 装置 的 重要 输入 手段 。 本 章 详 细 介绍 手势 跟踪 流程 、 手 部 数据 访问 、 手 指 与 关节 访问 、 手 势 处 理 等 接口 。 


手势 跟踪 模块 可 提供 实时 3D 手 势 的 运动 跟 中 。SDK 可 以 同时 跟 中 一 只 或 两 只 手 ， 并 且 提 供 精 确 的 手 关节 定位 和 位 置 。 该 模块 还 可 以 识别 “手势 ”， 包 含 一 些 常 用 的 手势 或 动作 ， 例 如 挥手 、 点 击 或 竖 起 
大 拇指 等 。 


有 了 手势 跟踪 模块 ， 可 以 通过 手势 动作 来 控制 应 用 程序 。 例 如 ， 可 以 将 手 的 点 击 解释 为 选择 ， 把 手 的 轻 扫 解释 为 滚动 等 。 
1. 跟 踪 模 式 

手势 模块 有 3 个 主要 的 跟踪 模式 ， 根 据 它们 所 提供 的 信息 与 所 需要 的 计算 资源 不 同 来 区 分 。 

1) 光标 模式 : 返回 代表 手 部 位 置 的 一 个 位 置 点 ， 用 于 及 时 准确 地 跟踪 手 部 位 置 和 基础 手势 。 

2) 全 手 : 返回 完整 的 手 部 3D 骨 架 ， 包 括 所 有 的 22 个 关节 、 手 指 信息 、 手 势 等 。 

3) 末端 : 返回 手 的 大 致 位 置 ， 包 括 轮 廓 以 及 末端 ， 如 手 的 最 顶部 、 最 底层 、 最 右边 、 最 左边 、 中 心 、 最 近 (到 传感器 ) Fa, 


虽然 手势 模块 是 需要 具体 手势 特征 时 的 最 佳 选择 ， 但 是 它 不 是 唯一 选择 。 根 据 应 用 程序 的 需求 ， 可 能 希望 使 用 Blob 模 块 ， 而 不 是 手势 模块 ( 详 见 第 4 章 ) 。 如 果 程 序 需要 跟踪 任何 物体 ， 而 不 一 定 是 
手 ， 可 使 用 Blob 模 块 ， 因 为 它 占用 更 少 的 系统 资源 。 如 果 特 别 需要 手势 识别 和 更 详细 的 信息 ， 如 手 侧 边 、 关 节 的 位 置 和 手势 识别 ， 则 需要 用 手势 模块 。 


表 7-1 总 结 了 3 种 跟 中 选项 及 Blob 跟 踊 的 相关 特点 。 


表 7-1 手势 跟踪 选项 


跟踪 模式 | 是 否 仅 手势 计算 资源 需求 摄像 头 及 范 转 


2D 及 3D 空间 的 光标 位 置 、 


光标 H. 低 ， 单 线程 нЕ, Вж $8300, 110 cm 
~ 报 及 手势 
分 割 图 像 ， 极 点 ， 手 侧 ， 
а еа | ы ө раа. аав F200, 60 cm. 
全 手 БЕ 关节 信息 ， 手 指 信息 ， 开 放 性 ， 手 | 最 多 ， 多 线程 


SR300, 85 cm 


dA 


( 续 ) 


跟踪 模式 | 是 否 仅 手势 计算 资源 需求 局 限 性 摄像 头 及 范围 


F200, 80 cm. 
< MU 是 Ar H| Es] 极点 ， 手 侧 ， 警 报 等 ， 单 线程 | 
А ЈИ, 侧 报 中 等 ， 单 线程 Ну. аа 


F200, 100 cm 


Blob 分 制图 像 ， 极 点 ， 轮 万 线 最 少 ， 单 线程 14 个 对 象 ， 速 度 快 | SR300，150 cm 
R200. 300 cm 


2. 使 用 手势 模块 的 最 佳 条 件 


最 小 手掌 宽度 为 5.5 厘 米 〈 这 通常 适合 于 一 个 5 岁 及 以 上 年 龄 的 人 ) o 
. 手 部 离 摄像 头 20 厘 米 远 ， 最 远 距离 取决 于 摄像 头 ， 参 见 表 7-1。 
- 手 部 动作 速度 : 

对 于 VGA (640X480) 的 深度 图 像 分 辨 率 ， 不 快 于 0.75 米 / 秒 。 

· 对 于 HVGA (640X240) 的 深度 图 像 分 辨 率 ， 不 快 于 2 米 / 秒 。 


Ж 最 佳 的 帧 速率 深度 流 为 60fps。 手 动 跟踪 精度 要 求 可 能 使 帧 速率 低 于 50 в. 


3. 电 源 管 理 


降 


恢 


为 了 省 电 ， 当 系统 空 几 时 ，SDK 支 持 两 种 操作 模式 : 性 能 模式 和 电池 模式 。 在 性 能 模式 下 ，SDK 使 用 摄像 头 最 大 帧 率 和 最 好 的 跟踪 算法 ， 以 确保 数据 跟踪 的 最 好 质量 。 在 电池 模式 下 ， 摄 像 头 帧 速率 下 
显著 ， 而 且 只 使 用 最 少 的 计算 资源 以 节省 电力 。 只 有 在 一 段 时 间 内 (不 活动 间隔 ) 没有 检测 到 类 似 于 手 的 物体 ， 手 势 模 块 才 允 许 切换 到 电池 模式 。 只 要 在 视野 中 检测 到 手 ，SDK 就 马上 采用 性 能 模式 并 且 
复 跟 踪 。 从 电池 模式 到 性 能 模式 的 切换 很 快 ， 因 此 即使 快速 的 手 部 运动 也 可 以 成 功 地 进行 检测 。 


关于 控制 电源 状态 和 设置 闲置 间隔 的 详细 信息 ， 请 参阅 PowerState 接 口 。 


注 动态 帧 速率 并 不 适用 于 所 有 摄像 头 的 驱动 程序 。 如 果 不 支持 该 选项 ， 则 整个 任务 期 间 都 采用 性 能 模式 。 


4. 手 势 跟 踪 接 口 


手势 模块 中 有 3 个 主要 的 接口 : 
1) 手势 模块 。 这 是 主要 的 接口 。 可 以 用 它 来 访问 手势 模块 的 配置 和 输出 数据 。 
2) 手势 配置 。 该 接口 配置 有 关 跟 踪 、 警 报 、 手 势 和 输出 的 选项 。 


3) 手势 数据 。 该 接口 包含 手势 跟踪 处 理 的 输出 。 


7.1 ”初始 化 和 配置 手势 模块 


在 手势 跟踪 开始 前 ， 必 须 初始 化 SenseManager。 然 后 可 以 更 改 其 默认 配置 。 
例 7-1 演 示 了 如 何 初始 化 SenseManager 以 进行 手势 跟踪 和 如 何 配置 手势 模块 。 


例 7-1 初始 化 SenseManager 和 和 手势 模块 


C# 

// 创建 一 个 SenseManager 实例 

PXCMSenseManager sm=PXCMSenseManager.CreateInstance (); 
// 使 能 手势 跟踪 

sm.EnableHand () ; 

// 获得 PXCHandModule 实例 

PXCMHandModule handModule=sm.QueryHand () ; 

// 获取 PXCHandConfiguration 实例 

PXCMHandConfiguration 
handConfig=handModule.CreateActiveConfiguration (); 

// 改变 设置 并 应 用 

handConfig.EnableJointSpeed(:::); 
handConfig.SetTrackingBounds (:::) ; 

// 进行 其 他 设置 

handConfig.ApplyChanges (); // 改变 只 有 当 调 用 ApplyChanges 后 才能 生效 
// 初始 化 SenseManager 流水 线 

sm.Init(); 


E “只 有 当 调 用 ApplyChanges 函 数 时 ， 改 变 手 势 模块 的 配置 才 生 效 。 


7.2 手势 跟踪 主 处理 循 环 实现 


初始 化 和 配置 手势 模块 后 ， 需 要 启动 主 处 理 循 环 。 这 个 主 循环 在 线 获取 每 个 图 像 帧 并 管理 手势 跟踪 


有 两 种 实现 主 处 理 循环 的 方式 : 


1) 同步 函数 。 可 以 调用 传 感 管理 器 的 同步 函数 ， 用 于 处 理 每 一 帧 和 跟踪 的 输出 。 


过 程 ， 同 时 响应 每 一 帧 中 检测 到 的 手 部 动作 和 手势 。 


2) 异步 函数 。 可 以 实现 和 注册 一 个 或 多 个 事件 处 理 器 ， 并 初始 化 一 个 用 于 处 理 跟 踩 的 新 线程 。 每 次 相关 事件 被 触发 便 会 调用 事件 处 理 器 的 回调 函数 。 例 7-2 和 例 7-3 分 别 说 明了 如 何 实现 这 两 种 方法 。 


例 7-2 采用 同步 疯 数 的 SenseManager 主 循环 


C# 
// 创建 一 个 PXCSenseManager 实例 
PXCMSenseManager sm=PXCMSenseManager .CreateInstance () ; 
// 使 能 手 部 跟踪 
sm.EnableHand () ; 
// 获取 手 部 模块 实例 
PXCMHandModule handModule=sm.QueryHand () ; 
// 创建 手 部 数据 实例 
PXCMHandData handData=handModule.CreateOutput () ; 
// 主 处 理 循环 
while (sm. C р л, { 
// 获取 当前 手 部 跟踪 结果 
handData.Update (); 
// 处 理 手 部 跟踪 数据 
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// 进行 下 一 帧 处 理 准 备 
sm.ReleaseFrame () ; 
) 
// 清理 
handData.Dispose () ; 
sm.Dispose () ; 
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例 7-3 ”采用 异步 函数 的 主 循环 处 理 


C# 


pxcmStatus OnModuleProcessedFrame (Int32 mid, PXCMBase module, PXCMCapture.Sample sample) { 


// 检测 回调 是 否 发 自 手 部 跟踪 模块 

if (mid==PXCMHandModule.CUID) { 
/ / 获取 当前 前 手 部 数据 
handData.Update (); 

// 处 理 手 部 数据 
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} 
// 返 回 NO_ERROR 继 续 ; 如 果 出 错 则 报错 并 放弃 
return pxcmStatus.PXCM STATUS NO ERROR; 


) 
// 创建 一 个 SenseManager 实例 


PA Roneeanager sm=PXCMSenseManager .CreateInstance () ; 


// 使 能 手 部 处 理 

sm.EnableHand () ; 

// 获取 手 部 模块 实例 

PXCMHandModule handModule=sm.QueryHand (); 

// 为 输出 创建 存储 

PXCMHandData handData=handModule.CreateOutput () ; 
// 初始 化 流 数 据 处 理 


PXCMSenseManager.Handler handler=new PXCMSenseManager.Handler () ; 
handler .onModuleProcessedFrame=0nModuleProcessedFrame; 


sm. Init (handler); // 注册 处 理 者 

// 以 阻塞 模式 初始 化 SenseManager 处 理 循环 
sm.StreamFrames (true); 

// 清理 

handData.Dispose () ; 

sm.Dispose () ; 
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73 ”访问 手动 跟 足 数据 


在 主 处 理 循 环 (或 者 在 回调 遂 数 事件 OnModuleProcessedFrame 及 OnFrameProcessed) 中 ， 可 以 处 理 当 前 帧 的 手势 跟踪 数据 。 


7.4 处 理 警 报 


警报 实时 通知 应 用 程序 发 生 了 重要 事件 。 


表 7-7 总 结 了 可 被 触发 的 警报 。 


警报 类 型 
ALERT HAND DETECTED 


ALERT HAND NOT DETECTED 


这 些 事件 可 能 影响 应 用 程序 的 行为 ， 比 如 手 进入 或 离开 现场 。 


表 7-7 警报 类 型 


| 


t 


— H FHR g Н HAER E nJ HKS 


一 个 ТИ gr 检测 到 的 F 3. 失 ， 可 能 是 


挡 (被 另 一 个 物体 遮挡 ) 


因为 


个 


这 些 数 据 包括 有 多 少 手 在 视野 中 、 它 们 的 位 置 、 是 否 检测 到 手势 等 。 


已 离开 视 场 或 者 被 遮 


ALERT HAND TRACKED 手 的 全 部 跟踪 信息 可 用 
ALERT HAND NOT TRACKED 于 的 跟踪 信息 不 再 可 用 (没有 一 个 关节 被 跟踪 到 ) 
ALERT HAND CALIBRATED 手势 测量 已 经 准备 好 ， 并 且 足 够 精确 
ALERT HAND NOT CALIBRATED 手势 测量 尚未 最 后 完成 ， 而 且 并 不 完全 准确 
ALERT HAND OUT OF BORDERS 手 已 经 移动 出 了 跟踪 边界 
ALERT HAND INSIDE BORDERS 手 已 经 移动 回 到 了 跟 中 边界 内 
ALERT HAND OUT OF LEFT BORDER 被 跟踪 的 对 象 正在 靠近 视 场 的 左边 界 
ALERT HAND OUT OF RIGHT BORDER 被 跟踪 的 对 象 正在 靠近 视 场 的 右边 界 
ALERT HAND OUT OF TOP BORDER 被 跟踪 的 对 象 正 在 靠近 视 场 的 上 边界 
ALERT HAND OUT OF BOTTOM BORDER | 被 跟踪 的 对 象 正 在 靠近 视 场 的 下 边界 
ALERT HAND ТОО FAR е АУ H TEK 2с р) ВЕЖ n 
ALERT HAND ТОО CLOS 被 跟 蹊 的 对 象 由 于 距离 太 近 而 不 能 继续 跟踪 
可 以 在 主 处 理 循 环 中 轮 询 警 报信 息 ; 或 者 注册 警报 处 理 程序 ， 当 警报 被 触发 时 回调 函数 会 被 调用 。 
1. 在 主 程序 中 轮 询 警 报信 息 
这 里 介绍 一 些 不 同 的 方法 来 查询 主 处 理 循环 中 被 触发 的 警报 。 
< 调用 IsAlettFired， 处 理 指定 的 警报 。 
< 调用 IsAlertFiredByHand， 处 理 指定 手 的 特定 警报 。 
. 调用 QueryFitredAlertsNumber， 以 索引 0~QuetyFiredAlertsNumber0-1 为 参数 ， 调 用 QuetyFiredAlertData， 遍 历 被 触发 的 警报 。 
例 7-6 说 明了 如 何在 主 处 理 循环 中 轮 询 指定 的 警报 。 


17-6 ” 轮 询 处 理 警报 


C# 

// handData 是 一 个 PXCHandData 实例 

// 轮 询 警 报 

PXCMHandData.AlertData data; 

дт 

(handData.IsAlertFired(PXCMHandData.AlertType.ALERT HAND TRACKED,out data)) { 
// 处 理 HAND TRACKED 警报 Е Е 
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P 

LE 

(handData.IsAlertFired(PXCMHandData.AlertType.ALERT HAND TOO FAR,out data)) { 
// 处 理 HAND TOO FAR 警报 
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) 


2. 创 建 并 注册 一 个 警报 处 理 程序 


例 7-7 说 明 如 何 创建 并 注册 一 个 警报 处 理 程序 。 


017-7 ”注册 警报 


C# 

void OnFiredAlert (PXCMHandData.AlertData data) { 
// 处 理 警报 

if (data.label == PXCMHandData: :AlertType .ALERT HAND DETECTED) { 
// 处 理 被 检测 到 的 手 
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} else if (data.label == PXCMHandData.AlertType.ALERT HAND TRACKED) { 
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} 
} 
// handModule 是 一 个 PXCHandModule 实例 
// 注册 警报 通知 事件 
PXCMHandConfiguration 
handConfig=handModule.CreateActiveConfiguration (); 
handConfig.SubscribeAlert (OnFiredAlert); 
handConfig.ApplyChanges () ; 
// 接收 并 流 式 处 理 警报 
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// 清理 
handConfig.UnsubscribeAlert (OnFiredAlert); 
handConfig.Dispose () ; 


7.5 EFA 


手势 指 的 是 具体 的 手 部 动作 或 姿势 。 可 以 让 应 用 程序 只 响应 预先 定义 的 手势 ， 而 不 必 处 理 原 始 位 置 数据 。 


表 7-8 总 结 了 默认 的 手势 包 中 支持 的 手势 。 某 些 手势 是 相似 的 ， 这 使 得 手势 检测 可 能 会 混淆 。 因 此 ， 建 议 不 要 同时 使 能 两 个 手势 。 表 7-8 还 总 结 了 相关 使 用 限制 。 在 一 般 情 况 下 ， 最 好 的 做 法 是 在 应 用 程 


序 的 特定 阶段 仪 局 用 相关 手势 ， 而 不 是 在 任何 时 候 都 启用 所 有 的 手势 。 在 每 个 阶段 的 开始 ， 仅 启用 所 需 的 手势 ， 并 茶 用 不 需要 的 手势 。 


表 7-8 手势 表 
=» R E | 不 要 同时 启用 的 手 扫 £ 还 
点 击 | 两 个 手指 分 开 对 独 镜头 打开 于 ， 绷 车 心 快速 移动 食指 


所 有 的 手指 折 秋 成 一 个 拳头 。 拳 头 可 以 在 不 同 的 
方向 


的 用 的 于 жж 

чин Ри 所 有 手指 仲 直 ， 并 触摸 拇指 。 该 捍 指 状 可 直接 指 

е 向 屏幕 上 或 轮廓 之 间 的 任何 地 广 

К Эи 

向 下 滑动 手掌 对 着 镜头 向 下 移动 ， 并 立即 返回 开始 位 置 
` 

向 左 滑动 YW 挥手 手掌 对 着 镜头 向 左 移动 ， 并 立即 返回 开始 位 置 

< 

向 右 滑动 ОЮ 手掌 对 着 镜头 向 右 移动 ， 并 立即 返回 开始 位 置 
TT 

向 上 滑动 NA 于 等 对 着 镜头 加 上 移动 ， 并 立即 返回 开始 位 置 

“п GG | 一 只 手 处 于 自然 放松 姿势 向 前 移动 ， 就 好 像 按 下 

按钮 
Ca s 
К + ЭШ 


T в | R т ”| 不 要 同时 启用 的 区 m 


两 个 手指 分 
开 冉 接触 


点 击 于 张 开 ， 用 拇指 和 食指 互相 接触 


Jy 


V 标志 v NA 收 手 ,食指 和 中 指 朝 上 


挥手 | 向 左 挥 再 向 右 挥 一 只 张 开 的 手 对 着 屏幕 ， 挥 动 重复 任意 次 数 


可 以 在 主 处 理 循 环 中 轮 询 手势 ; 或 者 当 手 势 被 触发 时 ， 利 用 回调 函数 调用 已 注册 的 手势 处 理 程序 。 


1. 在 主 处 理 循环 中 轮 询 手 势 
有 一 些 不 同 的 方法 来 查询 主 处 理 循环 中 启用 的 手势 。 
1) 调用 lsGestureFired 来 处 理 指定 手势 。 
2) 调用 lsGestureFiredByHand 来 处 理 指定 手 的 指定 手势 。 
3) 调用 QueryFiredGesturesNumber， 然 后 调用 QueryFiredGestureData 重 复 处 理 从 索引 0 到 QueryFiredGesturesNumber()-1 的 手势 。 
例 7-8 说 明了 如 何在 主 处 理 循环 中 轮 询 指定 手势 。 


例 7-8 轮 询 指定 的 手势 


C# 

// handData 是 一 个 PXCHandData 实例 

// 轮 询 手 势 

PXCMHandData.GestureData data; 

if (handData.IsGestureFired( “tap”, out data)) Í 
// 处 理 tapb 手 势 


http://www.hzcourse .com/resource/readi 


Book?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 


kyd 


f (handData.IsGestureFired( “wave”, out data)) { 


// 处 理 wave 手势 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 


P: 


2. 创 建 和 注册 一 个 手势 处 理 程序 
例 7-9 说 明 如 何 创建 和 注册 一 个 手势 处 理 程序 。 


例 7-9 注册 手势 处 理 程序 


C# 
void OnFiredGesture (PXCMHandData.GestureData data) { 
// 处 理 手 势 


if (data.name.CompareTo( “tap” )==0) { 
// 处 理 tap 手势 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/. .http: //www.hzcourse.com/resource/readBook?path=/openresources/ 

} else if (data.name.CompareTo( “wave” )==0) { 


// 处 理 wave 手势 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/ 


} 
} 
// handModule 是 一 个 PXCHandModule 实例 
// 注册 到 手势 通知 事件 
PXCMHandConfiguration 
handConfig=handModule.CreateActiveConfiguration (); 
handConfig.SubscribeGesture (OnFiredGesture); 
handConfig.ApplyChanges () ; 


// 流 式 处 理 及 接收 手势 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 


// 清理 
handConfig.UnsubscribeGesture (OnFiredGesture); 
handConfig.Dispose () ; 


76 手势 跟 蹊 应 用 举例 


1.FF_Hands3DViewer(OpenGL) 
FF_Hands3DViewer 示 例 是 一 个 OpenGL 示 例 ， 主 要 展示 手势 跟踪 的 可 视 化 ， 即 在 虚拟 世界 中 展示 一 只 模拟 的 手 。 当 移动 手 或 手指 时 ， 示 例 中 的 虚拟 手 执行 相同 的 操作 。 
(1) 启动 
示例 可 以 直接 从 SDK 安 装 的 bin 文 件 夹 中 启动 ， 或 者 使 用 Microsoft Visual Studio 编 译 和 执行 。 该 项 目 和 源 文件 位 于 sample/FF_Hands3DViewer 文 件 夹 。 
(2) 示例 选项 
请 在 镜头 前 出 示 一 只 手 ， 虚 拟 手 就 会 出 现在 虚拟 世界 。 可 以 移动 手 或 手指 ， 虚 拟 手 也 相应 移动 ， 如 图 7-10 所 示 。 可 以 使 用 鼠标 轮 和 按钮 旋转 或 缩放 虚拟 世界 。 
2.FF_HandsConsole(C+ +) 


HandsConsole 示 例 是 一 个 C++ 手 部 控制 台 应 用 程序 ， 演 示 了 SDK 手 势 跟踪 功能 。 应 用 程序 演示 包括 : HERE BU ЕН (关节 和 骨骼 ) 、 分 割 掩 模 (从 背景 中 分 离 手 ) 和 手势 识别 机 制 。 


图 7-10 3D 手 部 查看 器 


(1) 启动 


可 以 直接 从 SDK 安 装 的 bin 文 件 夹 中 启动 ， 或 者 使 用 Microsoft Visual Studio 编译 和 执行 。 该 项 目 和 源 文件 位 于 sample/FF_HandsConsole 文 件 夹 。 可 以 用 命令 窗口 启动 示例 可 执行 文件 ， 示 例 输 出 如 
图 7-11 所 示 。 


к. CMWINdows\system32\cmd.exe - FF_ HandsConsole.exe -live -skeleton = 


0.040423, Y: 
0.037822, Ч: 
О.О20Г1Г, Y: 
-0.008797, 
-0.028836, 
-0.038068, 
0.012056, 
-0 . 001421, 
-0.0068г1, 


-0.058610, Z: 0. 233016 
0.018009, Z: 0. 238308 
-0.0539088, Z: 0. 236969 
-0. 030674, Z: 0.235989 
-0.015135, Z: 0.233725 
: -0.000901, 2: 0.233052 
: 0.023423, 2: 0.247160 

: 0.053343, Z: 0.250466 
: 0.062387, Z: 0.237940 
: 0.071104, Z: 0. 224752 


JOINT_URIST1 
JOINT_CENTER) 
JOINT_THUMB_BASE) 
JOINT_THUMB_JT1) 
JOINT_THUMB_JT2] 
JOINT_THUMB_TIP] 
ЈОІМТ ІМОЕХ _ BASE) 
JOINT_INDEX _JT11 
JOINT_INDEX _JT2) 


ЈОІМТ ІМОЕХ ТІР) 
JOINT_MIDDLE ВАЅЕ) 
JOINT_MIDDLE_JT1 1] 
JOINT_MIDDLE JT2) 
JOINT_MIDDLE_TIP) 
JOINT_RING_BASE) 
JOINT_RING_JT1) 
JOINT_RING JT2) 
JOINT_RING_TIP) 
JOINT_PINKY_BASE) 
JOINT_PINKY_JT1) 
JOINT_PINKY_JT2) 


-0.011273, 
0.036048, 
029724, 
027294, 
028725, 
.056120, 
056420, 
059347, 
‚060230, 
‚ӨТӨТ 2, 
.79313, 
.0806949, 


‚02360, 
‚0561868, 
.Q71367, 
084579, 
. 020394, 
. 050366, 
‚067196, 
. 080205, 
. 003053, 
. 032034, 
. 043516, 


‚243638 
‚232686 
‚21693905 
. 210589 
. 240337 
. 229581 
. 222165 
-£13176 
. 235 (89 
‚226992 
‚222522 


2 


=> Сз Сз С) Су о с) С) => > о 
NNNNNNNNNNNN, 
оооосоооооо оо 


=> O — соо о соо => х» = 


JOINT_PINKY_TIP) ‚081369, .053703, .218341 


图 7-11 手 部 控制 人 台 例 程 


(2) 命令 选项 

运行 不 带 任 何 命令 行 选项 的 可 执行 文件 可 以 显示 帮助 信息 。 本 例 使 用 以 下 命令 行 选项 : 
选 项 ж Жж 
-live 使 用 实时 摄像 头 流 数据 。 选 项 -live 或 -seq 必须 选择 ， 但 不 能 同时 使 用 
-seq <file> 使 用 文件 流 数据 。 选 项 -live 或 -seq 必须 选择 ,但 不 能 同时 使 用 
-skeleton 打印 关节 的 世界 空间 位 置信 息 
-alerts 打印 触发 警报 
-gestures 打印 触发 手势 


FF HandsViewer[.cs] 示 例 是 GUI 应 用 程序 ， 演 示 了 SDK 手 势 跟 踪 功 能 。 
用 C++APl， 另 一 个 使 用 C#APIl。 


示例 展示 了 被 跟踪 的 手 骨架 (关节 和 骨骼 ) 、 分 割 掩 模 (从 背景 中 分 离 手 ) 和 手势 识别 机 制 。SDK 提 供 两 个 版 本 的 示例 ， 一 个 使 


(1) 启动 


可 以 直接 从 SDK 安 装 的 bin 文 件 夹 中 启动 ， 或 者 使 用 Microsoft Visual Studio 编 译 和 执行 。 该 项 目 和 源 文 件 分 别 位 于 sample/FF HandsViewer 和 framework/CSharp/FF HandsViewer.cs 文 件 夹 。 可 以 
用 命令 窗口 启动 示例 可 执行 文件 ， 示 例 输出 如 图 7-12 所 示 。 


(2) 菜单 选项 


从 菜单 中 ， 用 户 可 以 选择 输入 装置 、 手 势 跟踪 模式 和 工作 模式 (直播 模式 、 重 放 模 式 和 记录 模式 ) ， 如 图 7-12 所 示 。 


Intel(R) RealSense(TM) SDK: Hands Viewer Е 


(9) Depth 
Laheled Image 


Scale 
Miror 


| Joints 


spreadfingers A 
вре 
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1) Ајей: Hand Detected, Hand Not Calibrated, Hand Inside Bordei 
71) Alet: Напа Calibrated 

1) Aert: Напа Detected, Hand Calibrated, Hand Inside Border, 
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Left Hand Gesture: swipe 
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Streaming 


L 
Т 


97-12 ”手势 观察 器 
(3) 图 形 用 户 接 口 选项 
1) 单 击 “ 开 始 ”按钮 加 载 和 启动 手势 跟踪 模块 。 
2) 单 击 “深度 ”选项 显示 深度 流 ， 如 图 7-12 所 示 。 
3) 单 击 “ 标 签 图 像 ”选项 显示 标记 的 图 像 。 
4) 单 击 “ 缩 放 ” 选 项 ， 可 以 将 图 像 扩 展 到 显示 面板 的 大 小 ， 也 可 单 击 “镜像 ” 选 项 翻转 图 像 (翻转 围绕 Y 轴 ) 。 
5) 单 击 “ 关 节 ” 选项， 用 彩色 圆圈 显示 所 有 22 个 手 天 节 。 
6) 单 击 “ 骨 架 ” 选 项 以 可 视 化 手 骨架 。 
7) 在 手势 列表 中 选择 一 个 项 目 ， 以 识别 指定 的 手势 。 如 果 留 空 ， 样 例 不 识别 任何 手势 。 
8) 每 当 有 手势 触发 或 警报 时 ， 采 样 记录 窗口 就 显示 手势 或 警报 信息 。 
9) 单 击 “ 人 停止” 按钮 终止 跟踪 过 程 。 
4.FF_HandsViewer(Java) 
$(RSSDK_DIR)/framework/Java/FF_HandsViewer 例 子 展示 了 如 何在 Java 中 运行 手势 跟踪 。 
使 用 以 下 步骤 运行 示例 : 


1) 设置 JAVA_HOME 环 境 变量 的 Java JDK 的 安装 位 置 。 


2) 运行 脚本 $(RSSDK_DIR)/framework/Java/FF_HandsViewer/run.bat。 应 该 看 到 与 控制 台 输 出 类 似 ， 如 图 7-13 所 示 。 


m CAwindows\system32\cmd.exe - гип 


Palm Center at frame 83: 
| Image Position: (180.0, 208.0 World Position: 1 -0.07370942, -0. 027013365 ,0.24679599 
# of alerts at Frame 83 is O 
H of gestures at frame 33 is Ü 
Frame # 83 
Palm Center at Frame 85: 
Image Position: (178.0,330.0) World Position: í -0.07484224,-0. 04861245 ,0.2464) 
H of alerts at Frame 84 15 Ч 
# of gestures at frame 85 is 1 
Frane # 85 
Palm Center at frame 85: 
Image Position: (584.0, 360.0) World Position: (0.198281753,-0.06633701,0.2816) 
H of alerts at Frame 85 is 3 
Н of gestures at frame 85 is 2 
Frame # 86 
Palm Center at frame 86: 
Image Position: (176.0, 352.0) World Position: 1-0 .0756103,-0. 06309674, 0. 24440002] 
H of alerts at Frame 86 is 3 
H of gestures at frame 86 is 2 


图 7-13” 手 部 查看 器 Java 样 例 
5.FF_HandsViewer(JavaScript) 
ЕЕ _ HandsViewer 示 例 展示 了 如 何在 JavaScript 应 用 程序 中 编写 手势 跟踪 功能 。 
示例 位 于 $(RSSDK_DIR)/framework/JavaScript/FF_HandsViewer。 可 以 在 任意 浏览 器 中 启动 FF_HandsViewer.html 开 始 示例 。 
单 击 对 话 框 中 的 任意 位 置 ， 进 入 示例 的 手势 跟踪 屏幕 ， 如 图 7-14 所 示 。 可 以 单 击 “开始 ”按钮 开始 手势 跟踪 ， 也 可 单 击 “ 停 止 ” 按 钮 来 停止 它 。 


示例 用 蓝 色 气泡 仿真 检测 的 手 部 关节 ， 黄 色 气 泡 仿真 手指 ， 红 色 和 气泡 仿真 手掌 心 。 示 例 在 手势 显示 面板 下 打印 所 有 检测 到 的 手势 、 警 报 和 状态 信息 。 


Sample Dialogs 


Geslure: f"timeStamp'':130815350021060000"handId"':3 ""state":2 "frameNumber":931 "name": ""spreadfingers'"1 
Alert: {"label":16384," handid":3,"timeStamp":130815350022500000, "frame Number" :936} 

status: 

_ Streaming 640х480 


7-14 “手势 跟踪 可 视 化 手 部 的 运动 


6.FF HandsAnimation(Unity) 
当 示 例 检测 到 有 手 在 镜头 前 的 时 候 ，FF_HandsAnimation 示 例 在 视 场 中 仿真 3D 手 骨架 (或 两 只 手 ) 。 本 例 演示 了 手势 跟踪 模块 的 功能 。 
本 例 位 于 $(RSSDK_DIR)/framework/Unity/FF_HandsAnimation。 可 以 复制 示例 源 到 可 写 位 置 ， 然 后 单 击 Assets/Scenes/FF_HandsAnimation.unity 执 行 样本 。 
可 以 在 镜头 前 举 起 自己 的 手 ， 示 例会 在 点 云 中 显示 手 的 骨架 ， 如 图 7-15 所 示 。 


还 可 以 通过 使 用 左 箭头 和 右 箭头 改变 视野 透视 图 (旋转 主 摄像 头 ) 。 示 例 使 用 R 键 复位 /重新 启动 ，Q 键 退出 。 


spreadfingers 


图 7-15” 手 部 动画 窗口 


日 常 物体 的 智能 识别 对 于 丰富 应 用 程序 内 涵 、 扩 大 应 用 程序 使 用 范围 有 非常 大 的 帮助 。 本 章 详 述 了 SDK 物 体 识 别 模块 的 编程 方法 、 数 据 方法 机 制 、 感 兴趣 区 域 设置 等 内 容 。 本 章 内 容 适用 于 R200 摄 像 


SDK 提 供 了 物体 识别 模块 来 识别 典型 的 日 常 物体 ， 例 如 : 

桌子 相关 的 有 椅子 、 桌 子 、 书 、 钢 笔 、 饶 头 、 茶 包 、 杯 子 、 手 机 和 耳机 。 
“ 电脑 相关 的 有 笔记 本 电脑 、 键 瘟 、 和 鼠标、 监视 器 。 

杂项 有 冰箱 、 安 全 摄像 头 、 邮 箱 、 箱 子 。 


图 8-1 列 出 了 SDK 支 持 的 可 识别 物体 。SDK 将 在 未 来 的 版 本 中 添加 更 多 的 可 识别 物体 。 


Light Switch 


图 8-1 SDK 支 持 的 物体 列表 


8.1 物体 识别 编程 


为 了 在 SenseManager 流 水 线 上 启动 物体 识别 算法 ， 需 要 利用 EnableObjectRecognition 函 数 。 可 以 在 应 用 中 用 两 种 方式 来 完成 物体 识别 : 使 用 SenseManager 过 程 函 数 ， 或 者 使 用 SenseManager 回 
у] Б 


1. 使 用 SenseManager 过 程 函 数 
例 8-1 给 出 了 一 个 典型 的 物体 识别 应 用 的 示例 。 这 个 例子 中 完成 了 以 下 功能 : 


1) 创建 一 个 SenseManager 接 口 的 实例 。 


2) 使 用 EnableObjectRecognition 函 数 启动 了 物体 识别 。 在 这 一 步 ， 还 可 以 获取 ObjectRecognitionModule 接 口 实例 进行 自 定义 操作 (通过 QueryObjectRecognition 函 数 ) ， 如 配置 算法 的 特性 。 
ObjectRecognitionModule 实 例 将 一 直 有 效 ， 直 到 调用 Close 函 数 关闭 处 理 流 水 线 。 


3) 初始 化 SenseManager 流 水 线 (Init) ， 遍 历 图 像 帧 (利用 AcquireFrame 和 Release-Frame) 。 一 旦 得 到 了 识别 结果 ，QueryObjectRecognition 函 数 就 会 返回 一 个 有 效 值 。 
如 果 在 ifall=true 时 调用 AcquireFrame 国 数 ， 那 么 就 可 以 利用 QueryObjectRecognition 函 数 进行 核对 。 这 种 核对 将 阻塞 程序 的 运行 ， 直 到 得 到 所 有 模 态 的 识别 结果 。 

4) 在 处 理 流水 线 中 ， 可 以 调用 PauseObjectRecognition 函 数 在 特定 条 件 下 来 暂停 或 恢复 对 象 识别 。 

5) 清理 样本 。 


例 8-1 利用 SenseManager 过 程 国 数 进行 物体 识别 


C# 

// 创建 SenseManager 实例 

PXCSenseManager *sm=PXCSenseManager.CreatelInstance (); 

// 启用 物体 识别 

Sm.EnableObjectRecognition (); 

// 获 取 模 块 实例 (或 者 内 置 AcquireFrame/ReleaseFrame 循环 ) 进行 配置 

PXCObjectRecognitionModule reco=sm.QueryObjectRecognition();/ 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/ ..http://www.hzcourse .com/resource/readBook?path=/openresources/teach ek 

// 初始 化 流水 线 

sm—Init();/ 

// 流 数据 处 理 

while (sm.AcquireFrame (true) ).IsSuccessful()) { 
// 获取 物体 识别 结果 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 
// 进 行 下 一 帧 准备 


Sm.ReleaseFrame () ; 


) 
// 清 理 
Sm.Dispose (); 


2. 使 用 SenseManager 回 调 函 数 
可 以 使 用 senseManager 回 调 函数 进行 物体 识别 ， 例 8-2 展 示 了 这 种 实现 方式 。 当 有 识别 数据 可 以 处 理 的 时 候 ，SDK 会 触发 OnModuleProcessedFrame 回 调 函数 。 


例 8-2 用 senseManager 回 调 函 数 来 进行 物体 识别 


pxcmStatus OnModuleProcessedFrame (int mid, PXCMBase module, PXCMCapture.Sample sample) { 
// 检测 回调 函数 是 否 来 自 于 物体 识别 模块 

if (mid==PXCMObjectRecognitionModule.CUID) { 
PXCMObjectRecognitionModule reco=module.Querylnstance<PXCMObjectRecognitionModule)> (); 

http: //www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 
} 
// 返回 NO_ERROR 继 续 ; 如 果 出 错 则 报错 并 放弃 
return pxcmStatus.PXC STATUS NO ERROR; 


} 

// 创建 一 个 SenseManager 实例 

PXCSenseManager sm=PXCSenseManager .CreateInstance (); 

// 启用 物体 识别 

Sm.EnableObjectRecognition (); 

// 获取 一 个 模块 实例 来 配置 

PXCObjectRecognitionModule reco=sm.QueryObjectRecognition (); 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 

// 初始 化 

PXCMSenseManager.Handler handler=new PXCMSenseManager.Handler { 
onModuleProcessedFrame=0nModuleProcessedFrame 


}; 

sm.Init (handler); 

// 流 式 处 理 数据 
Sm.StreamFrames (true); 
// 清理 

Sm.Dispose (); 


82 ”配置 特征 及 获取 数据 


物体 识别 模块 公开 了 3 个 主要 接口 。 

1) 模块 接口 (ObjectRecognitionModule) : 这 个 接口 提供 函数 来 创建 下 面 两 个 接口 的 实例 。 

2) 配置 接口 (ObjectRecognitionConfiguration) : 使 用 这 个 接口 来 配置 物体 识别 模块 。 

3) 数据 获取 接口 (ObjectRecognitionData) : 使 用 这 个 接口 来 获取 任意 算法 数据 。 

配置 接口 ObjectRecognitionConfiguration 是 一 个 存储 类 ， 一 旦 创建 完成 就 独立 于 物体 识别 模块 生存 。 当 配置 发 生 改变 时 ， 需 要 使 用 ApplyChanges 函 数 来 把 更 改 应 用 到 模块 中 ， 如 例 8-3 所 示 。 


例 8-3 配置 物体 识别 


C# 

// reco 是 PXCObjectRecoonitionModule | 
PXCMObjectRecognitionConfiguration orc=reco.CreateActiveConfiguration (); 
// 设置 来 启用 分 割 

Orc.EnableSegmentation (true); 

// 应 用 更 改 

Orc.ApplyChanges () ; 

// 清理 

orc.Dispose () ; 


类 似 的 ， 数 据 获 取 实 例 ObjectRecognitionData 也 是 一 个 存储 类 。 可 以 利用 Update 函 数 来 获取 最 新 的 数据 ， 如 例 8-4 所 示 。 


例 8-4 获取 物体 识别 处 理 的 数据 


C# 

// reco 是 PXCObjectRecoonitionModule 实例 
PXCMObjectRecognitionData data=reco.CreateOutput () ; 
// 获取 识别 的 物体 的 数目 

Int32 nobjects=data .QueryNumberOfRecognizedObjects () ; 
// 清理 

data.Dispose (); 


83 物体 识别 配置 


可 以 为 物体 识别 模块 配置 以 下 参数 。 

1) RARA: 设置 识别 置信 和 度 阐 值 。 详 见 RecognitionConfidence 和 SetRecognitionCon-figuration。 
2) 识别 模式 : 执行 简单 的 识别 或 者 定位 识别 。 详 见 RecognitionMode 和 SetRecogni-tionConfiguration。 
3) DÈN: 设置 是 否 生成 一 个 分 割 图 像 。 详 见 Enablesegmentation。 

4) 分 类 : 配置 算法 分 类 器 。 详 见 SetActiveClassifier。 


5) 感 兴趣 的 区 域 : 设置 感 兴 趣 的 区 域 。 详 见 AddROI 和 AddAbsoluteROI|。 


84 ”ROI 和 绝对 ROI 


物体 识别 模块 使 用 以 下 机 制 来 指定 识别 的 范围 。 
1) 整个 图 像 : 物体 识别 模块 默认 整 张 彩色 图 像 是 感 兴趣 的 区 域 (ROI) ， 识 别 在 整 张 图 像 中 执行 。 


2) 中 心 对 齐 的 感 兴趣 (ROI) Kik: 可 以 使 用 AddROI 函 数 来 指定 中 心 对 齐 的 感 兴趣 区 域 ( 见 图 8-2) 。 此 函数 忽略 了 指定 RectF32 结 构 体 的 X 和 Y 区 域 。w 和 h 是 归 一 化 的 宽度 和 高 度 ， 范 围 在 0 到 1 之 


间 ， 以 彩色 图 像 分 辨 率 为 归 一 化 尺度 。 


- 


只 人 允许 指定 一 个 感 兴趣 区 域 ， 因 此 AddROI 函 数 会 覆盖 前 面 的 设置 。 


3) 不 在 中 心 的 感 兴趣 (КО!) 区 域 : 可 以 使 用 AddAbsoluteROI 函 数 来 指定 不 在 中 心 的 感 兴趣 区 域 ( 见 图 8-3) 。 指 定 的 感 兴趣 区 域 范 围 归 一 化 为 0~1， 以 彩色 图 像 分 辨 率 为 归 一 化 尺度 。 
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图 8-2 ”中 心 对 齐 的 感 兴趣 区 域 
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图 8-3 ”不 在 中 心 的 感 兴趣 区 域 


8.5 物体 识别 数据 


可 以 利用 QueryNumberOfRecognizedObjects 函 数 来 获取 当前 帧 中 识别 出 的 物体 数目 ， 然 后 使 用 QueryRecognizedObjectData 来 获取 指定 物体 的 数据 。 
物体 数据 包括 以 下 几 方 面 。 

` 物体 标签 : 从 0 开始 的 已 识别 出 物体 的 标签 。 可 以 利用 QueryObjectNameByID 函 数 来 获取 物体 的 名 称 。 

EIR: 识别 置信 度 值 。 

. 中 心 点 : 物体 中 心 点 的 2D 和 3D 坐 标 。 

` 边界 框 : 物体 边界 框 。 


` 感 兴趣 区 域 : 物体 所 属 的 感 兴趣 区 域 。 


8.6 物体 识别 应 用 举例 


.寻宝 游戏 
在 本 游戏 中 ， 物 体 识别 可 以 给 用 户 提供 房子 周围 的 一 些 线索 ， 如 图 8-4 所 示 。 这 个 游戏 展示 了 一 个 感 兴趣 区 域 中 指定 的 谜语 ， 用 户 可 以 从 解 这 些 这 语 中 获得 乐趣 。 


可 以 使 用 PauseObjectRecognition 函 数 来 暂停 或 恢复 物体 识别 模块 。 只 用 当 用 户 指向 某 个 物体 的 时 候 ， 游 戏 才 局 用 物体 识别 过 程 ， 然 后 展示 这 个 识别 出 来 的 物体 。 


2. 学 习 一 种 新 的 语言 


本 例 可 以 让 用 户 的 家 变 成 一 个 教室 ， 以 帮助 用 户 学 习 一 种 新 的 语言 。 每 当 用 户 单 击 一 件 家 具 或 者 其 他 物体 ， 这 个 应 用 就 用 另 一 种 语言 来 描述 这 个 物体 ， 如 图 8-5 所 示 。 
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图 8-4 寻宝 游戏 
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图 8-5 学习 一 种 新 的 语言 


在 对 整个 图 像 进行 识别 中 ， 当 物体 呈现 在 摄像 头 视野 中 央 的 时 候 ， 示 例 可 以 展示 物体 的 名 称 。 当 用 户 触摸 到 某 物体 ， 示 例 利 用 AddAbsoluteROI 函 数 来 改变 选中 的 感 兴趣 区 域 。 


第 9 草 物体 跟 路 


SDK 提 供 了 功能 强大 的 物体 跟踪 技术 。 本 章 介 绍 的 SDK 物 体 跟踪 可 以 基于 2D 平 面 物体 、3D 特 征 、CAD 模 型 等 多 种 模式 进行 ， 甚 至 可 以 进行 实时 3D 跟 踪 。 本 章 详 述 了 不 同 模式 中 模型 引入 与 构建 、 跟 踪 
流程 、 数 据 访问 与 地 图 创建 等 功能 实现 。 本 章 内 容 适 用 于 F200、SR300 摄 像 头 。 


9.1 ЗОВЕ 


1. 跟 踊 技 术 


Metaio 3D 物 体 跟踪 模块 提供 基于 光 流 的 跟踪 技术 ， 可 以 来 检测 和 跟踪 视频 序列 中 已 知 或 未 知 的 物体 。Metaio 工 具 箱 可 用 于 训练 、 创 建 和 编辑 3D 模 型 ， 并 用 于 各 种 物体 检测 和 跟踪 算法 。 表 9-1 给 出 了 
SDK 支 持 的 跟踪 技术 以 及 相应 配置 方法 。 


表 9-1 不 同 跟踪 技术 及 其 配置 方法 


跟踪 方法 配置 或 输入 
2D 物体 跟 踊 (平面 物体 ) 输入 一 个 参考 图 像 
基于 特征 的 3D ERER 利用 工具 箱 来 创建 点 云 ， 并 把 配置 保存 为 .slam 文件 


对 于 给 定 的 CAD 模型 ( .obj)， 利 用 Edge Creation 工具 来 提取 突出 的 边 


采用 CAD 模型 的 边缘 增强 3D IRER 缘 ， 并 把 配置 保存 为 xml 文件 


实时 3D 跟踪 实时 跟踪 场景 运动 ,无 预 设 配置 
2. 物 体 跟 中 


2D 跟 踪 算 法 根据 输入 参考 图 像 配 置 ， 跟 踪 视 频 序列 中 的 图 像 ， 并 返回 跟踪 的 参数 。 应 用 程序 可 以 采用 3D 物 体 来 增强 场景 ，3D 参 考 坐 标 如 图 9-1 所 示 。 


3. 基 于 特征 的 3D 跟 踪 


基于 特征 的 3D 跟 踪 可 以 跟踪 真实 的 3D 物 体 。Metaio 工 具 箱 生成 的 .slam 文 件 可 以 作为 跟踪 的 3D 特 征 图 。 工 具 箱 还 可 以 编辑 和 附加 3D 地 图 ， 为 后 续 复杂 应 用 做 准备 。 图 9-2 为 一 个 运行 中 的 3D 跟 踪 示 
例 。 


4. 采 用 CAD 模 型 的 基于 边缘 的 3D 跟 踪 


为 了 更 好 地 跟踪 那些 特征 难以 检测 的 物体 ，SDK 提 供 了 一 个 更 加 精确 的 、 基 于 边缘 的 无 标记 3D 跟 踪 算 法 。 例 如 ， 以 下 物体 通常 难以 用 基于 特征 的 3D 跟 踪 方 法 跟踪 到 |: 
* 少 纹理 或 者 高 度 镜面 反射 物体 。 
会 随 着 时 间 改 变 外 形 的 物体 ， 例 如 一 幢 涂 刷 表 面 后 改变 颜色 的 建筑 。 


. 在 不 同 的 或 变化 的 光照 条 件 下 的 物体 。 


Deace Моде losd Mode 
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图 9-1 参考 图 像 ( 左 ) 和 利用 3D 模 型 增强 的 跟踪 (Ж) 
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图 9-2 ”基于 特征 的 3D 跟 踪 


基于 边缘 的 3D 跟 踪 算 法 可 以 采用 3D CAD 模 型 、 网 格 模型 或 者 目标 物体 的 3D 点 去 作为 输入 。 通 常 ，3D 模 型 可 以 从 内 容 创建 工具 或 者 CAD 工 具 中 导出 到 一 个 Wavefront 格 式 文件 。Metaio 工 具 箱 对 3D 模 


型 进行 处 理 ， 提 取出 边缘 特征 并 创建 一 个 .xml 3D 文 件 作为 跟踪 算法 的 输入 ， 如 图 9-3 所 示 。 


图 9-3 Ж (Æ) 的 CAD 模 型 和 提取 出 来 的 边缘 (Ж) 


5. 实 时 3D 跟 踪 

实时 3D 跟 踪 实 时 创建 场景 的 点 云 (30 Map) 并 立即 应 用 于 跟踪 。 实 时 3D 跟 踪 ， 也 称 SLAM 技 术 ， 其 主要 优点 是 用 户 不 需要 为 了 跟踪 而 输入 Map 文 件 或 者 输入 平面 图 像 。SLAM 实 时 学 习 周 围 环境 ， 并 
立刻 实时 跟踪 场景 中 的 物体 。 
6.SLAM 及 可 扩展 学 习 


和 实时 3D 跟 路 相似 ， 基 于 2D 和 3D 特 征 的 跟踪 支持 扩展 模式 (学习 模式 ) ， 即 从 环境 中 提取 额外 的 特征 点 。 这 种 方式 可 以 改善 某 些 场景 下 的 跟踪 性 能 。 但 学 习 模式 假设 被 跟踪 的 物体 相对 于 环境 是 静止 
不 动 的 ， 即 符合 “刚体 世界 ”的 假设 。 对 于 面向 摄像 头 的 用 户 而 言 ， 这 个 假设 可 能 不 成 立 ， 因 为 此 时 摄像 头 位 置 固定 而 视野 范围 内 的 物体 会 移动 。 需 要 通过 测试 来 判断 这 种 模式 是 否 适 合 于 自己 的 应 用 场 
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92 ”Metaio 工 具 箱 


可 以 使 用 Metaio 工 具 箱 来 创建 、 编 辑 带 纹理 物体 的 3D 跟 踪 Map。 基 于 特征 和 基于 边缘 的 3D 跟 踪 需 要 这 样 的 3D 跟 踪 Map。 为 了 得 到 更 好 的 跟踪 准确 性 ， 工 具 箱 还 可 以 做 摄像 头 标定 。 


运行 可 执行 文件 $(RSSDK_DIR)/contrib/Metaio/MetaioTrackerToolbox/MetaioTracker-Toolbox.exe， 可 以 看 到 工具 箱 登 录 界 面 ， 如 图 9-4 所 示 。 


1. 摄 像 头 标定 


3-D Map Camera 
Creation | Tracking Calibration 


Create a new 3D tracking map or edit an existing map. 


@ Create a new 3D map or extend an existing one 
Edit an existing 3D map 


图 9-4 工具 箱 登 录 界 面 


在 ID 标 记 的 帮助 下 ， 工 具 箱 可 以 对 摄像 头 标定 跟踪 的 参数 ， 以 达到 更 好 的 跟踪 结果 。 摄 像 头 标定 的 步骤 如 下 : 


1) 从 工具 箱 登 录 界面 中 选择 摄像 头 标定 ， 摄 像 头 标定 界面 如 图 9-5 所 示 。 


图 9-5 ”摄像 头 标 定 界 面 


2) 选择 摄像 头 ， 设 定 摄像 头 分 辨 率 (与 跟踪 和 3D Map 创 建 中 使 用 的 分 辨 率 相 匹配 ) ， 输 入 ID 标记 识别 符 及 其 尺寸 。1D 标 记 是 为 摄像 头 标定 特别 设计 的 模式 图 像 ， 如 图 9-6 所 示 。 
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图 9-6 ID 标记 
3) 单 击 start 按 钮 来 开始 标定 过 程 。 


Д) 用 摄像 头 对 ID 标记 图 像 拍摄 ， 缓 慢 移动 使 得 工具 箱 可 以 获取 ID 标记 的 所 有 角度 。 在 每 一 个 角度 都 需要 保持 ID 标记 几 秒 钟 不 动 ， 以 获得 稳定 的 图 像 。 当 工具 箱 中 的 标记 履 盖 变 绿 ， 标 定 过 程 就 完成 
了 ， 如 图 9-7 所 示 ， 接 着 可 以 保存 标定 参数 。 


2. 创 建 基于 特征 的 3D Map 


为 了 获取 真实 世界 场景 或 物体 的 特征 ， 并 把 它 保存 下 来 为 后 续 所 用 ， 工 具 箱 提供 了 3D Map 文 件 创建 、 编 辑 等 功能 。 创 建 3D Map 需 要 完成 以 下 步骤 : 


1) 在 工具 箱 登 录 界面 中 ( 见 图 9-4) 选择 3D Map 创 建 ， 如 图 9-8 所 示 为 3D Map 的 创建 界面 。 
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图 9-7 摄像 头 标 定 完 成 
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图 9-8 3D 地 图 创建 
2) 在 界面 的 右 侧 可 以 选择 摄像 头 ， 设 定数 据 流 及 其 分 辨 率 ， 也 可 以 设 定 Sensitivity， 即 跟踪 物体 的 大 小 。 正 确 预 估 跟 踪 物 体 的 大 小 对 跟踪 初始 化 非常 有 帮助 。 


3) 将 物体 移入 摄像 头 视野 ， 工 具 箱 可 以 学 习 它 的 三 维 结构 。 需 要 移动 物体 使 得 工具 箱 可 以 看 到 物体 的 所 有 面 。 检 测 到 的 特征 可 视 化 结果 如 图 9-9 所 示 。 


[_] Use Depth 

Р) Set Regon of Interest 

[_] Perform shigrment 

Marker ID (1-512) Е 
Marker size (mm) 
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图 9-9 ”检测 到 的 特征 
4) 单 击 “Save 3D map” 按 钮 ， 工 具 箱 把 3D Map 存 为 *.slam 文 件 ， 完 成 3D Map 创 建 。 
工具 箱 可 以 通过 更 多 检测 到 的 特征 来 扩展 已 有 的 3D Map， 或 者 把 它 与 一 个 ID 标记 对 齐 (如 图 9-10 所 示 设 置 坐标 原点 ) 。 可 以 在 登录 界面 使 用 Edit an existing 3D Map 选 项 获取 这 个 功能 。 
另外 ， 工 具 箱 可 以 编辑 已 有 的 3D Map 特 征 点 。 步 又 如 下 : 
1) 鼠标 移动 拖 动 点 云 。 
2) 按 下 Alt 键 选择 特征 点 。 


3) 使 用 De| 或 Backspace 键 来 删除 选中 的 特征 点 ， 如 图 9-11 所 示 。 
3. 边 缘 跟 踪 


工具 箱 可 以 从 已 有 的 CAD 模 型 中 创建 跟踪 配置 。 为 了 使 用 这 个 功能 ， 可 以 从 工具 箱 登 录 界面 中 选择 边缘 跟踪 工具 ， 并 按照 以 下 步骤 进行 : 


1) 加 载 CAD 模 型 。 工 具 箱 支持 Wavefront*.obj 格 式 。 推 荐 使 用 高 分 辨 率 和 丰富 纹理 信息 创建 模型 ， 模 型 的 纹理 信息 和 分 辨 率 越 高 ， 创 建 的 线性 模型 就 越 准确 。3D 模 型 中 对 应 1 毫米 长 度 比例 为 1，Y 轴 
正方 向 向 前 ，Z 轴 方向 向 上 。 


E) Metaio Toolbox - 3D Map Creation 
File 


Successfully Aligned 30 Мәр to Marker 
Input Source 


Stream 
Sensitivity 

[Very low (cup-sized) "| 
[_] Use Depth 


[Г] Set Region of Interest 


LV Perform alignment 
Marker ID (1-512) | 25 
Marker size (mm) | 180 
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图 9-10 ”把 物体 与 ID 标记 对 齐 
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图 9-11 删除 错误 的 点 


2) 可 以 移动 鼠标 选择 视角 来 初始 化 跟踪 ， 并 可 以 通过 鼠标 滑轮 进行 缩放 操作 ， 如 图 9-12 所 示 。 模 型 周围 的 格子 指示 了 模型 的 方向 ， 其 中 Z 轴 向 上 。 选择 完成 时 单 击 Next 按 钮 以 继续 下 一 步骤 。 
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89-12 边 创建 工具 


3) 工具 箱 会 展示 边缘 线段 晋 加 的 CAD 模 型 。 可 以 使 用 右边 的 滚动 条 来 调整 线性 模型 的 细节 水 平 。 右 侧 的 细节 水 平 可 以 调节 大 多 数 突出 可 见 的 边缘 丰富 程度 ， 太 短 或 者 凌乱 的 线条 将 被 忽略 ， 如 图 9-13 
所 示 。 


89-13 ”边缘 细节 水 平 举例 ( 太 少 、 合 适 、 过 多 ) 


4) 单 击 Accept 导 出 模型 文件 和 跟踪 配置 文件 。 工 具 箱 创建 了 一 个 平面 模型 文件 SurfaceModel.obj (去 除了 如 材料 数据 等 不 必要 的 信息 ) 和 一 个 线条 分 割 模型 文件 LineModel.obj。 跟 踪 配 置 文件 被 命 
名 为 Tracking.xml。 


9.3 ”通过 SenseManager 的 物体 跟踪 


为 在 SenseManager 处 理 流 水 线 上 启动 物体 跟踪 算法 ， 可 以 利用 EnableTracker 国 数 。 可 以 在 应 用 程序 中 采用 两 种 方式 来 完成 物体 跟踪 : 使 用 SenseManager 过 程 函 数 ， 或 者 使 用 SenseManager 回 调 
1. 使 用 SenseManager 过 程 函 数 

例 9-1 给 出 了 一 个 典型 的 物体 跟踪 应 用 举例 。 这 个 例子 完成 了 以 下 功能 : 

1) 创建 了 一 个 SenseManager 接 口 实例 。 

2) 使 用 EnableTracker 函 数 启动 物体 跟踪 。 可 以 获取 Tracker 接 口 实例 (通过 EnableTracker 函 数 ) 进行 自 定义 操作 ， 如 配置 算法 的 特性 。 

3) 初始 化 SenseManager 流 水 线 (利用 Init) ， 遍 历 处 理 图 像 帧 (利用 AcquireFrame 和 ReleaseFrame) 。 一 旦 获得 跟踪 结果 ，QueryTracker 函 数 就 会 返回 一 个 有 效 实例 。 

如 果 在 ifall=true 时 调用 AcquireFrame 国 数 ， 那 么 采用 QueryTracker 函 数 核对 就 是 可 选 的 。QueryTracker 核 对 会 阻塞 程序 运行 ， 直 到 所 有 的 模 态 数据 都 准备 好 。 


4) 清理 采样 数据 。 


例 9-1 使 用 SenseManager 过 程 函 数 的 物体 跟 踩 


// 创建 一 个 SenseManager 的 实例 


PXCMSenseManager sm=PXCMSenseManager .Create] 


// 启用 物体 跟踪 


sm.EnableTracker (); 


[nstance (); 


// 获取 跟踪 实例 (或 者 内 置 AcquireFrame/ReleaseFrame 循环 ) 来 获取 和 配置 特征 


PXCMTracker tracker=sm.QueryTracker (); 


http: //www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OE 


// 初始 化 处 理 流 水 线 
sm.Init(); 


// 流 式 处 理 数据 


while (sm.AcquireFrame (true) .IsSuccessful()) { 


// 获取 物体 跟踪 的 结果 


PXCMTracker tracker2=sm.QueryTracker(); 


if (tracker2!=null) í 


http://www.hzcourse.com/resource/readi 


} 
// 准备 下 一 帧 处 理 
sm.ReleaseFrame () ; 
) 
// 清理 
sm.Dispose () ; 


2. 使 用 SenseManager 回 调 函 数 


к 
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E 


BPS/Text/ ..http://www.hzcourse .com/resource/readBook?path=/openresources/teach ek 
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可 以 利用 SenseManager 回 调 函 数 进行 物体 跟踪 ， 如 例 9-2 所 示 。 当 跟踪 数据 准备 好 时 ，SDK 会 触 皮 OnModuleProcessedFrame 的 回调 函数 。 


例 9-2 用 SenseManager 事 件 函 数 来 进行 物体 跟踪 


pxcmStatus OnModuleProcessedFrame (Int32 mid, PXCMBase module, PXCMCapture.Sample sample) 


// 检测 回调 函数 是 否 来 自 于 物体 跟踪 模块 
if (mid==PXCMTracker.CUID) { 


PXCMTracker tracker=module.Querylnstance<PXCMTracker>(); 
http: //www.hzcourse.com/resource/readl 


} 
// 返 回 NO ERROR 继续 ; 如 果 出 错 则 报错 并 放弃 


return pxcmStatus.PXCM STATUS NO ERROR; 


) 
// 创建 一 个 SenseManager 实例 


PXCMSenseManager sm=PXCMSenseManager.Crea 


// 启用 物体 跟踪 

sm.EnableTracker () ; 

// 获取 一 个 跟踪 实例 进行 配置 

PXCMTracker tracker=sm.QueryTracker (); 


http: //www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OE 


// 初始 化 流 数据 


Le 


Instance (); 


PXCMSenseManager.Handler handler=new PXCMSenseManager.Handler { 
onModuleProcessedFrame=0nModuleProcessedFrame 


sm. Init (handler); 

sm. StreamFrames (true) ; 
// 清理 

sm.Dispose () ; 


94 配置 特征 及 检索 数据 


1. 配 置物 体 跟踪 


可 以 使 用 以 下 函数 来 配置 跟踪 算法 。 


{ 
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1) 2D 跟 踪 : 利用 Set2DTrackFromFile 函 数 从 图 像 文 件 中 获取 参考 图 像 ， 或 利用 Set2DTrackFromlmage 函 数 从 图 像 实 例 中 获取 一 个 参考 图 像 。 函 数 返回 目标 标识 符 ， 为 后 续 跟踪 数据 的 获取 所 用 。 


2) 基于 特征 的 3D 跟 踪 : 使 用 Set3DTrack 函 数 载 入 工具 箱 生成 的 3D Map 文 件 (.slam) ， 函 数 返回 目标 标识 符 为 后 续 跟 踪 数 据 的 获取 所 用 。 


3) 基于 边缘 的 3D 跟 踪 : 使 用 Set3DTrack 函 数 来 设置 工具 箱 生成 的 配置 文件 (.xml) 。 消 数 在 XML 文 件 定义 的 基础 上 返回 多 个 目标 ID。 通 常 第 一 个 目标 ID 被 命名 为 TrackingPose， 可 以 用 来 跟踪 物体 
的 真实 位 置 。 第 二 个 ID 被 命名 为 InitialPose， 可 以 帮助 初始 检测 的 对 齐 。 一 旦 物体 被 检测 到 ，SDK 不 再 报告 InitialPose， 取 而 代 之 的 是 TrackingPose。 


4) 3D 实 时 跟踪 (同时 定位 和 建 图 或 称 为 SLAM) : 使 用 Set3DinstantTrack 函 数 来 启用 实时 跟踪 浮 数 。 在 这 个 模式 中 ， 被 跟踪 物体 的 模型 不 需要 用 配置 文件 提前 注册 |。 


可 以 使 用 多 个 2D 或 3D 特 征 的 跟踪 模型 ， 但 是 不 要 将 2D 和 3D 的 跟踪 模式 混用 。 另 外 ， 基 于 边缘 检测 的 跟踪 只 支持 单个 模型 。 


如 果 摄 像 头 标定 数据 可 用 ， 可 以 使 用 SetCameraParameters 国 数 来 设置 标定 数据 。 


2. 跟 踪 数 据 


在 跟踪 的 过 程 中 ，Tracker 接 口 提供 跟踪 到 的 物体 数目 ( 详 见 QueryNumber-Tracking-Values 函 数 ) ， 指 定 物体 的 跟踪 参数 ( 详 见 QueryTrackingValues 函 数 ) ， 并 获取 所 有 可 用 的 跟踪 数据 ( 详 见 


QueryAlITrackingValues 函 数 ) 。 


跟踪 数据 包括 唯一 的 物体 标识 符 、 位 移 和 旋转 矩阵 以 及 其 他 辅助 信息 ， 例 如 跟踪 的 时 间 戳 。 


95 3D 地 图 创建 


除了 使 用 独立 的 Metaio 工 具 箱 之 外 ， 还 可 以 使 用 TrackerUtils 接 口 来 动态 创建 3D 地 图 。 这 在 某 些 情况 下 很 有 用 ， 例如， 目标 物体 周围 环境 凌 
程 接口 可 以 方便 用 户 在 不 太 凌 乱 的 背景 下 提前 创建 物体 的 3D 地 图 。 


1. 地 图 创建 


地 图 可 以 使 用 实时 图 像 流 交互 地 创建 。 在 地 图 创建 的 过 程 中 ， 摄 像 头 围绕 固定 的 物体 移动 ， 相 天 的 物体 姿 


1) 使 用 Start3DMapCreation 国 数 来 创建 3D 地 图 。 


乱 的 情况 下 ， 实 时 3D 跟 踪 就 得 不 到 最 优 的 结果 。 地 图 创建 编 


态 就 自动 确定 了 。 可 以 采用 下 列 步骤 创建 3D 地 图 : 


2) 在 3D 地 图 创建 过 程 中 ， 需 要 持续 为 本 模块 提供 数据 帧 (利用 SenseManger 流 水 线 ) 。 


当 深 度 流 可 用 的 时 候 ， 模 块 可 以 在 单个 帧 中 创建 3D 地 图 。 如 果 没 有 深度 数据 ， 则 必须 要 依据 带 基 准 线 的 水 平移 动 进行 基于 视差 的 深度 计算 。 水 平 位 移 距离 的 准确 性 与 物体 的 大 小 有 关 。 


4) 使 用 Save3DMap 团 数 来 保存 3D 地 图 。 


2. 地 图 扩展 


地 图 扩展 通过 增加 附加 信息 增强 已 有 的 物体 地 图 。 附 加 特征 可 以 使 得 跟踪 更 鲁 棒 ， 尤 其 是 物体 明显 地 发 生变 化 的 情况 。 例 如 ,玩偶 可 以 由 一 个 通用 3D 模 型 表示 。 如 果 改 变 这 个 娃娃 的 头发 、 衣 服 等 ， 就 
可 以 利用 新 外 形 扩展 通用 的 模型 ， 从 而 改善 跟踪 的 质量 。 在 另 一 个 用 例 中 ， 物 体 相对 于 环境 必须 保持 固定 不 动 ， 如 书架 上 的 书 。 如 果 把 书架 的 环境 特征 扩展 书 的 地 图 ， 跟 中 精确 性 和 和 鲁 棒 性 就 会 提高 。 


可 以 采用 以 下 步骤 来 扩展 3D 地 图 : 
1) 使 用 Load3DMap 浮 数 载 入 一 个 已 有 的 3D 地 图 。 
2) 使 用 Start3DMapExtension 国 数 启动 地 图 扩展 程序 。 


3) 在 3D 地 图 扩展 的 过 程 中 ， 需 要 持续 为 模块 提供 数据 帧 (使 用 SenseManger 流 水 线 ) 。 


5) 使 用 Save3DMap 冰 数 来 保存 3D 地 图 。 


3. 地 图 对 齐 


在 地 图 交互 式 创建 过 程 中 ， 物 体 的 姿态 由 算法 自动 测定 。 然 而 测定 的 这 个 姿态 (物体 的 旋转 和 起 始点 ) 可 能 与 实际 物理 姿态 有 区 别 。 模 块 可 以 把 物体 姿态 与 特别 设计 的 标记 对 齐 ， 从 而 标注 地 图 的 旋转 
和 原点 。 对 齐 是 一 个 动态 的 过 程 ， 只 有 物体 特征 和 标记 对 齐 时 才 完 成 。 可 以 按照 以 下 步骤 进行 3D 地 图 对 齐 : 


1) 使 用 Load3DMap 函 数 来 加 载 已 有 的 3D 地 图 。 

2) 使 用 Start3DMapAlignment 函 数 来 开始 对 齐 过 程 。 

3) 在 3D 地 图 对 齐 的 过 程 中 ， 需 要 持续 为 模块 提供 数据 帧 (使 用 SenseManger 流 水 线 ) 。 

4) 使 用 ls53DMapAlignmentComplete 疯 数 检 查 对 齐 是 否 已 经 完成 。 重 复 这 个 过 程 ， 直 到 对 齐 完成 。 


5) 使 用 Save3DMap 冰 数 来 保存 3D 地 图 。 


4. 摄 像 头 标定 


摄像 头 标定 可 以 增加 物体 跟踪 的 位 置 准 确 性 。 在 初始 化 过 程 中 ， 模 块 将 执行 利用 预存 摄像 头 参 数 的 默认 标定 。 然 而 ， 有 效 校正 仍然 可 以 提高 准确 性 。 需 要 对 不 同 视角 的 摄像 头 标记 执行 标定 。 标 定 参 数 
可 以 从 文件 加 载 及 存储 ,或 者 在 内 存 中 以 二 进 制 块 存在 。 尽 管 中 间 标定 的 质量 不 那么 精确 ， 但 也 可 以 加 以 利用 ， 不 需要 等 标定 100% 完 成 时 才 保 存 结果 。 可 以 采用 以 下 步骤 来 开始 3D 地 图 对 齐 过 程 : 


1) 使 用 StartCameraCalibration 函 数 来 开始 标定 过 程 。 
2) 使 用 QueryCalibrationProgress 函 数 检查 标定 过 程 ， 需 要 持续 为 模块 提供 数据 帧 (使 用 SenseManger 流 水 线 ) 。 


3) 使 用 SaveCameraParametersToFile 函 数 保存 摄像 头 参数 。 


2. 摄像头 对 齐 和 标定 技巧 


当 一 个 物体 比 一 张 桌子 或 者 椅子 小 的 时 候 ， 这 个 物体 的 360" 地 图 也 不 一 定 保证 可 用 。 为 了 解决 这 个 问题 ， 可 以 创建 两 个 180" 的 地 图 。 每 一 个 地 图 利用 同一 个 标记 来 对 齐 ， 从 而 保证 物体 的 姿态 都 是 正确 
的 。 


9.6 物体 跟 蹊 应 用 举例 


FF ObjectTracking[.cs] 是 两 个 SDK 物 体 跟 踪 模 块 功能 的 示例 。 这 两 个 示例 在 一 个 场景 内 跟踪 2D 和 3D 物 体 。 不 带 后 缀 的 示例 是 C+ + 示例 ， 后 缀 为 .cs 的 是 C# 示 例 。 
(1) 启动 


可 以 从 SDK 安 装 的 $(RSSDK_DIR)/bin/$(Platform) 文 件 夹 中 直接 启动 这 个 预 编译 的 示例 ， 或 者 在 Microsoft Visual Studio 中 编译 。 工 程 和 源 文件 都 位 于 
$(RSSDK DIR)/sample/FF ObjectTracking (C++) 或 $(RSSDK DIR)/framework/CSharp/FF_ObjectTracking.cs(C#)XrtksE F, 


(2) 菜单 选项 


在 本 例 提供 的 菜单 中 ， 可 以 选择 输入 设备 、Metaio 物 体 跟 踪 识 别 模块 、 跟 踪 类 型 和 操作 模式 (直播 流 、 回 放 和 录 播 ) ， 其 界面 如 图 9-14 所 示 。 


\н 


Device Module Tracking Туре Mode 


Loaded Targets 


图 9-14 ”物体 跟踪 界面 


(3) 2D 跟 踪 


可 以 从 跟踪 类 型 菜单 中 选择 2D 跟 踪 模 式 ， 并 为 之 加 载 跟踪 目标 的 png 或 者 jpg 图 像 。2D 跟 踪 图 像 的 例子 可 以 从 Assets/2DTargets 中 找到 ， 如 图 9-15 所 示 。 
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图 9-15 ”选择 2D 跟 踪 图像 


选择 完 跟踪 图 像 以 后 ， 用 户 可 以 按 下 “开始 ”按钮 ， 模 块 开始 跟 踊 相应 的 目标 。 跟 踪 识 别 出 的 物体 上 会 附加 投影 举 标 轴 ， 如 图 9-16 所 示 。 


(4) 3D 跟 踪 


可 以 从 跟踪 类 型 菜单 中 选择 3D 跟 踪 模 式 ， 并 为 之 载 入 3D 模 型 .slam 或 .xml 文 件 ， 如 图 9-17 所 示 。 实 时 3D 跟 踪 和 普通 3D 跟 踪 相 似 ， 区 别 是 目标 是 从 场景 中 实时 自动 决定 的 ， 故 而 不 需要 提前 创建 和 加 载 
目标 。 


E 


Device Module Tracking Type Mode 


Load Target 


Loaded Targets 


C:\Source\Assets\2DTargets\metaioman target.png 
ID: 1 Name: 2D Image 

C:WourcelAssetsI2DTargetsvimlmage.pna 
ID: 2 Мате: 2D Image 


FPS:(30) Degrees X: (-16) Y: (-5) 2: ( 2) | Dist x< (170)y: (10)= (1156) 


89-16 2D 跟踪 结果 图 像 
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图 9-17 跟踪 3D 图 像 
(5) 其 他 GUI 选项 


“开始 ”按钮 用 来 启动 物体 跟踪 模块 。 “尺度 ”选项 可 把 视 场 图 像 缩放 到 与 显示 面板 一 样 。 “位 置 ”选项 来 开关 所 有 坐标 轴 。X 轴 、Y 轴 、Z 轴 选项 可 分 别 显示 或 者 隐藏 投影 到 跟踪 物体 上 的 坐标 轴 。 
“加 载 ” 按 钮 可 以 根据 选择 的 跟踪 类 型 载 入 不 同 的 目标 文件 ， 多 个 目标 可 以 同时 载 入 和 跟踪 。 


(6) 地 图 创建 、 扩 展 和 对 齐 


c++ 示例 实现 了 与 Metaio 工 具 箱 类 似 的 3D 地 图 创建 功能 ， 其 界面 如 图 9-18 所 示 。 在 本 例 中 ， 可 以 创建 一 个 新 的 地 图 、 用 新 的 特征 点 扩展 一 个 已 有 的 地 图 、 对 齐 地 图 来 指定 坐标 系统 的 朝向 和 原点 。 视 
频 面板 下 的 3 个 按钮 可 以 在 上 述 操作 之 间 转 换 。 


在 地 图 创建 中 ，“ 开 始 ”/ “停止 ”按钮 可 以 控制 跟踪 中 是 否 检测 特征 点 。 如 果 “ 开 始 ” 按 钮 不 能 使 用 ( 变 灰 被 荣 用 ) ， 则 表示 当前 操作 的 有 关 条 件 不 满足 (没有 加 载 地 图 、 没 有 指定 标记 ID 等 ) 。 一 旦 
某 项 操作 完成 ， 地 图 文件 需要 显 式 保存 。 


当 执 行 地 图 创建 操作 的 时 候 ， 当 前 工作 状态 由 状态 条 给 出 ,例如 目标 物体 的 特征 数目 。 示 例 中 没有 自动 显示 特征 点 ， 但 坐标 系统 在 跟踪 模式 中 会 显示 。 


Device Мойше Mode Calibration | 


Rate (25 fps) Number of features: 217 


图 9-18 地 图 创建 、 扩 展 和 对 齐 


可 以 为 地 图 创建 和 实时 3D 跟 踊 指 定 感 兴趣 区 域 。 检 查 框 只 有 在 某 个 区 域 可 用 时 生效 。 为 了 指定 一 个 感 兴趣 区 域 ， 视 频 必须 是 流 媒体 格式 。 在 视频 中 第 一 次 点 击 鼠 标 左 键 指定 区 域 的 第 一 个 角 点 ， 再 次 点 
击 左 键 指定 对 角 点 。 当 鼠标 移动 时 ， 示 例 实时 绘 出 当前 活动 区 域 。 


第 10 章 ”场景 解析 


观测 环境 的 数字 重 构 是 识别 周围 环境 的 核心 。 本 章 将 详 述 SDK 场 景 解析 模块 的 编程 流程 、 数 据 访问 等 功能 。 


SDK 场 景 解析 模块 创建 了 所 观测 环境 的 数字 表示 ， 并 且 实 时 估计 摄像 头 姿态 。 摄 像 头 姿态 估 测 又 叫 定位 或 跟踪 (localization 或 tracking) ， 而 创建 所 观测 环境 的 数字 表示 又 称 为 重 构 


(reconstruction) 。 
本 算法 仅 支持 摄像 头 模型 R200， 且 需要 OpenCL 1.2 支 持 。 


本 模型 为 增强 现实 (Augmented Reality) 应 用 进行 了 优化 ， 可 将 计算 机 图 形 元 素 (虚拟 内 容 ) 无 颖 地 添加 到 实时 摄像 头 显 示 上 。 凭 借 对 周围 环境 的 实时 和 密集 重 构 ， 由 于 实物 增强 造成 的 遮挡 可 以 被 
较 好 地 解决 。 此 外 ， 物 理 / 光 照 仿 真 也 能 够 与 重 构 一 起 作用 于 增强 现实 体验 。 由 模块 估算 的 运动 可 以 进行 尺度 缩放 ， 从 而 可 以 度量 场景 。 图 10-1 是 一 个 场景 解析 示例 ， 真 实 色 彩 图 片 在 左 侧 ， 密 集 重 构 的 环境 
图 作为 纹理 网 格 放 在 右 侧 。SDK 所 估算 的 摄像 头 姿态 被 表示 为 一 个 正方 形 和 与 其 相关 联 的 坐标 系 。 


图 10-1 真实 色彩 图 片 (д) 和 密集 重 构 环境 图 ( 右 ) 
摄像 头 姿态 包括 6 个 自由 度 : 3 个 与 旋转 /方向 有 关 ，3 个 与 转换 /位 置 有 关 。 摄 像 头 姿态 是 实时 估计 的 ， 以 摄像 头 图 像 采 集 速 率 进 行 估算 。 


SDK 对 环境 的 数字 表示 是 密集 的 ， 而 不 是 稀疏 的 或 者 点 云 状 的 。 它 可 以 是 一 个 小 立方 体 (Voxel) 表示 的 视 场 立体 (Volume) 空间 、 一 个 网 格 表示 的 表面 ,或 者 Volume 空 间 的 投影 视图 。 图 10-1 和 图 
10-2 展 示 了 两 种 空间 表示 下 环境 数字 重 构 的 例子 。 


910-2 Volume 投影 视图 下 的 密集 重 构 环 境 


摄像 头 运动 时 需要 尽量 平滑 ， 用 户 手 持 摄像 头 时 应 以 自然 和 稳重 的 方式 移动 。 快 速 的 和 突 元 的 动作 则 可 能 导致 跟踪 品质 的 下 降 ， 并 可 能 触发 重 定位 。 


所 观察 的 环境 假设 为 包含 一 些 纹理 特征 或 拥有 一 些 3D 结 构 。 如 果 被 观察 的 环境 没有 足够 的 几何 变化 ， 或 者 当 它 是 均匀 的 ,或 者 没有 纹理 特征 时 ， 跟 踪 将 不 能 正确 工作 : 这 发 生 在 摄像 头 的 视野 中 只 包括 
平滑 的 表面 时 ， 如 墙 、 地 板 或 空 桌 子 。 


场景 解析 模块 在 很 大 程度 上 依靠 深度 图 像 中 可 视 的 物体 。 这 意味 着 ， 当 深度 图 像 的 填充 率 低 时 ， 跟 踪 不 能 正确 进行 。 因 此 ， 用 户 需 要 考虑 深度 摄像 头 属 性 。 在 大 多 数 情 况 下 ， 用 户 要 使 摄像 头面 向 的 场 
景 在 镜头 工作 范围 内 。 


用 户 向 系统 提供 的 Volume 分 辨 率 依赖 于 使 用 情况 和 环境 规模 。 对 于 大 规模 环境 ， 比 如 一 个 房间 大 小 的 环境 ， 低 分 辩 率 将 提供 最 好 的 跟踪 结果 。 对 于 小 规模 环境 ， 比 如 物体 大 小 ， 高 分 辩 率 能 够 提供 最 
精确 的 重 构 。 图 10-3 展 示 了 低 分 辨 率 设置 时 的 重 构 。 


图 10-3 ”从 同样 的 视角 得 到 的 相同 摄像 头 姿态 的 重 构 Volume 显 示 


10.1 场景 解析 编程 


场景 解析 与 其 他 模块 一 样 能 够 利用 SenseManager 控 制 。 可 以 利用 EnablescenePerception 函 数 在 SenseManager 流 水 线 中 激活 解析 算法 。 能 够 在 应 用 中 以 两 种 方式 使 用 场景 解析 : 利用 


SenseManager 过 程 国 数 ， 或 者 利用 SenseManager 回 调 函 数 。 


1. 利 用 SenseManager 过 程 函 数 进行 场景 解析 


例 10-1 展 示 了 一 个 典型 的 场景 解析 应 用 例子 。 这 个 例子 做 了 如 下 工作 : 

1) 创建 一 个 SenseManager 接 口 实例 。 

2) 用 EnablescenePerception 函 数 激 活 场景 解析 。 

3) 初始 化 SenseManager 流 水 线 (Init) ， 人 循环 图 像 帧 操作 (AcquireFrame 和 ReleaseFrame) 。 当 一 些 场景 解析 结果 完成 且 可 用 时 ，QuerySenePerception 函 数 会 返回 一 个 有 效 的 实例 。 


利用 QuerySenePerception 的 查询 是 可 选 的 。 如 果 以 ifall=true 调 用 AcquireFrame 浮 数 ， 程 序 会 发 生 阻 塞 ， 直 到 所 有 模 态 结果 都 准备 好 时 才 返 回 ， 此 后 调用 QuerySenePerception 时 解析 结果 已 经 可 用 


4) 在 流水 线 处 理 进行 时 ， 可 以 调用 PauseScenePerception 函 数 在 指定 状态 下 暂停 /恢复 场景 解析 。 
5) 清理 实例 。 


例 10-1 利用 SenseManager 程 序 函 数 进 行 场景 解析 


C# 
// 创建 SenseManager 实 例 
PXCMSenseManager sm=PXCMSenseManager .CreateInstance (); 
// 使 能 场景 解析 
sm.EnableScenePerception () ; 
// 场景 解析 配置 
PXCMScenePerception sp=sm.QueryScenePerception (); 
http: //www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 
// 初始 化 流水 线 
sm.Init(); 
// 流 数据 处 理 
while (sm.AcquireFrame (true) .IsSuccessful()) { 
// 如 果 帧 数据 就 绪 ， 获 取 场 景 解析 结果 
PXCMScenePerception sp2=sm.QueryScenePerception (); 
if (sp2!=null) { 
http: //www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/tee 


) 


// 恢复 帧 处 理 
sm.ReleaseFrame () ; 


// 清理 
sm.Dispose () ; 


2. 利 用 SenseManager 回 调 函 数 进 行 场景 解析 
也 可 以 用 SenseManager 回 调 函 数 实 现场 景 解析 。 例 10-2 展 示 了 利用 回调 的 场景 解析 应 用 。SDK 利 用 了 OnModuleProcessedFrame， 当 产生 一 些 场景 解析 结果 时 ，SDK 调 用 回调 函数 。 


例 10-2 利用 SenseManager 回 调 函 数 进 行 场景 解析 


C# 

pxcmStatus OnModuleProcessedFrame (Int32 mid, PXCMBase module, PXCMCapture.Sample sample) { 
// 检查 回调 是 否 来 自 于 场景 解析 模块 
if (mid==PXCMScenePerception.CUID) { 

PXCMScenePerception 

sp=module.QueryInstance<PXCMScenePerception> () ; 

http: //www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/. http: //www.hzcourse.com/resource/readBook?path=/openresources/teach 


) 
// 返回 NO_ERROR 继 续 ; 如 果 出 错 则 报错 并 放弃 
return pxcmStatus.PXCM STATUS NO ERROR; 


) 
// 创建 SenseManager 实 例 
PXCMSenseManager sm=PXCMSenseManager.CreateInstance (); 
// 使 能 场景 解析 
sm.EnableScenePerception () ; 
// 配置 场景 解析 
PXCMScenePerception sp=sm.QueryScenePerception (); 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/. .http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 
// 初始 化 
PXCMSenseManager.Handler handler=new PXCMSenseManager.Handler { 
2 аве OM i nans 


тийе {арбан 

// 流 数 据 处 理 
sm.StreamFrames (true); 
// 清理 


sm.Dispose () ; 


10.2 ”配置 场景 解析 


在 模块 工作 第 一 帧 摄像 头 数据 完成 前 ， 用 户 可 以 通过 选项 配置 场景 解析 的 下 列 方面 。 
1) 初始 化 摄像 头 姿态 : 利用 SetinitialPose 函 数 设置 初始 化 摄像 头 姿态 。 
2) WERE: 利用 SetMeshingThresholds 函 数 来 配置 网 格 处理 (针对 DoMeshingUpdate 函 数 ) 。 


3) Voxel 分 辨 率 : 利用 SetVoxelResolution 函 数 来 设置 Voxel 分 辨 率 。 一 般 而 言 ， 利 用 低 分 辨 率 来 重 构 大 规模 场景 ， 利 用 高 分 辨 率 来 重 构 小 规模 场景 。 


103 ”检查 局 动 场景 的 质量 


在 开始 场景 解析 前 ， 检 查 场景 质量 是 十 分 重要 的 。 可 以 利用 ChecksceneQuality 函 数 来 检查 场景 质量 。 如 果 该 国 数 返 回 了 一 个 接近 1.0 的 有 效 值 ， 该 场景 是 可 以 来 启动 场景 解析 的 ， 如 例 10-3 所 示 。 


例 10-3 ”启动 场景 解析 前 检查 场景 质量 


C# 

// sm 是 一 个 PXCMSenseManager 实例 

// sp 是 一 个 PXCMScenePerception 实例 

PXCMCapture.Sample sample=sm.QueryScenePerceptionSample (); 

if (sample!=null) { 

if (sp.CheckSceneQuality(sample)>=0.7f) { 
sp.EnableSceneReconstruction (true) ; 
} 

} 


当 检 查 场 景 质量 足够 好 后 ， 就 可 以 利用 EnableSsceneReconstruction 国 数 激活 场景 重 构 。 


10.4 获取 跟踪 数据 


场景 解析 产生 下 列 跟 踪 数 据 。 
1) 摄像 头 姿 态 : 摄像 头 姿态 包括 旋转 矩阵 和 摄像 头 在 场景 中 位 置 的 转变 向 量 。 可 以 利用 GetCameraPose 函 数 来 获取 摄像 头 姿态 参数 。 
2) Volume 预 览 : 利用 QueryVolumePreview 冰 数 来 获取 预览 图 像 。 能 够 把 预览 图 像 进行 泻 染 来 可 视 化 现场 景 重 构 过 程 。 随 着 更 多 的 摄像 头 数 据 的 获得 ， 重 构 的 场景 细节 也 变 得 更 加 清晰 。 


3) 网 格 数 据 : 可 以 利用 CreateBlockMeshingData 函 数 来 创建 一 个 网 格 数据 的 存储 空间 。 网 格 数据 存储 空间 能 够 被 重复 用 来 从 多 帧 中 获取 网 格 数据 。 可 以 利用 DoMeshingUpdate 函 数 来 产生 场景 网 格 
数据 。 这 是 一 个 耗 时 的 过 程 ， 因 此 需要 在 一 个 专用 的 线程 中 调用 该 函数 。 该 网 格 数据 包含 组 织 成 网 格 块 中 的 顶点 (包含 顶点 颜色 缓冲 ) 、 网 格 面 。 可 以 利用 SaveMesh 函 数 来 导出 网 格 数据 到 一 个 obj 文 件 。 


4) 表面 Voxe| 数 据 : 可 以 利用 CreateSurfaceVoxelsData 函 数 来 创建 一 个 表面 Voxel 数 据 的 存储 空间 。 该 数据 存储 空间 能 够 被 重复 用 于 从 多 帧 中 获取 数据 。 可 以 利用 ExportSurfaceVoxels 函 数 来 输出 表 
面 Voxel 数 据 。 


10.5 场景 解析 应 用 举例 


1.RF AugmentedRealitySP(C++) 


RF AugmentedRealitySP 示 例 是 一 个 C++ 增强 现实 应 用 ， 示 例 说 明了 如 何 使 用 SDK 场 景 解析 功能 把 3D 物 品 添加 到 一 个 扫描 场景 中 。 该 示例 使 用 从 重 构 3D 场 景 模 型 中 计算 出 的 顶点 图 像 ， 并 使 球 粘 贴 在 
表面 来 解决 闭塞 问题 。 
(1) 启动 


该 例子 能 够 直接 从 SDK 安 装 目录 下 的 bin 目 录 启 动 ， 或 者 由 Microsoft Visual Studio 编 译 和 执行 。 该 项 目 源 文件 位 于 sample/RF_AugmentedRealitySP 文 件 夹 内 。 
(2) 操作 


示例 窗口 如 图 10-4 所 示 。 


Intel(R) RealSense(TM) SDK: SP Augmented Reality 


ПВБ 


fps = 39,66 
Tracking status: High Rccur. 


图 10-4 REF_AugmentedRealitySP 示 例 窗 口 
可 以 单 击 SHOOT 按 钮 来 向 场景 中 发 射 一 个 球 ， 观 察 球 粘 在 场景 的 3D 表 面 。 发 射 只 在 中 间 的 交叉 符号 可 见 时 才 可 使 用 。 
可 以 单 击 RESET 按 钮 来 重新 启动 扫描 进程 。 
2.RF MeasurementSP(C++) 
F_MeasurementsP 示 例 是 一 个 C+ + 示例 应 用 ， 示 例 说 明了 如 何 使 用 SDK 场 景 解析 功能 进行 简单 的 测量 。 该 示例 扫描 场景 并 创建 一 个 3D 网 格 模型 。 可 以 在 这 个 3D 网 格 中 测量 两 点 之 间距 离 。 
(1) 启动 
该 例子 能 够 直接 从 SDK 安 装 目录 下 的 bin 目 录 启 动 ， 或 者 由 Microsoft Visual Studio 编 译 和 执行 。 该 项 目 源 文件 位 于 sample/RF_ MeasurementSP 文 件 夹 内 。 
(2) 操作 


示例 窗口 如 图 10-5 所 示 。 


е Intel(R) RealSense(TM) SDK: SP Measurement 


fps = 49.60 
“Tracking status: High Accuracy 


553.15 mm (21.78 inch) 


图 10-5 КЕ MeasurementSP 744) @ t: 
该 示例 工作 在 实时 流 模式 或 暂停 模式 下 。 可 以 使 用 LIVE 按 钮 或 PAUSE 按 钮 在 两 种 模式 间 切 换 。 


在 实时 流 期 间 ， 可 以 单 击 鼠 标 两 次 来 选择 场景 中 的 两 个 点 ， 即 为 横 线 的 两 个 点 。 当 一 个 点 能 够 用 来 测量 时 ， 一 条 横 线 会 出 现 。 在 暂停 模式 下 ， 可 以 直接 单 击 图 像 来 选择 两 个 点 。 标 示 为 红色 的 像素 不 能 
用 来 测量 。 


3.RF_ScenePerception(C++) 
RF_ScenePerception 示 例 展示 了 SDK 场 景 解析 模块 的 性 能 。 
(1) 启动 


可 以 使 用 $ (RSSDK_DIR) /bin/$ (Platform) 下 的 预先 编译 二 进 制 文件 ， 或 使 用 一 个 $(RSSDK_DIR)/sample/RF_ScenePerception 目 录 下 的 源 文 件 重 新 编译 。 本 示例 支持 Microsoft*Visual 
Studio*2012、2013 和 和 2015。 


(2) 操作 


当 运 行 示例 应 用 时 ， 摄 像 头 需 要 定位 到 离 镜头 0.5~2.0 米 远 的 区 间 场 景 。 最 好 的 场景 是 室内 ， 如 桌面 或 具有 足够 结构 /纹理 的 桌子 等 。 在 只 有 平面 单 色 墙 、 反 射 材料 (屏幕 ) 或 全 黑 物品 的 场景 中 ， 由 于 
不 能 反射 摄像 头发 射 的 红外 光 ， 这 种 情境 下 示例 不 能 较 好 地 工作 。 


本 例 应 用 显示 输入 的 RGB 或 者 深度 图 像 ， 并 显示 估算 的 摄像 头 姿态 和 重 构 场景 结果 ， 即 一 个 表面 的 网 格 标识 或 Volume 空 间 的 投影 (光绪 投射 ) 。 当 移动 摄像 头 时， 镜头 /场景 相对 姿态 会 被 估算 ， 并 以 
和 矩形 和 一 套 表示 摄像 头 位 置 和 方向 的 坐标 系 来 显示 。 


用 户 可 以 改变 视角 来 检查 重 构 的 Volume， 并 使 能 /禁用 一 些 功能 如 网 格 化 或 延伸 Volume。 用 户 还 可 以 把 重 构 Volume 保 存 为 obj 文 件 。 


示例 的 图 形 用 户 界 面 如 图 10-6 所 示 。 实 时 场景 视图 窗口 位 于 左边 。 可 以 点 击 鼠 标 左 键 (或 使 用 键盘 快捷 键 i)) 来 切换 彩色 和 深度 图 像 视图 。3D 重 构 场景 视图 位 于 右边 。 可 以 使 用 鼠标 移动 (或 键盘 方向 
E) 来 改变 视角 : 按 住 鼠 标 左 键 并 移动 鼠标 可 以 旋转 ; 按 住 鼠 标 右键 并 移动 可 以 转换 ; 按 住 鼠 标 中 键 并 移动 鼠标 可 以 缩小 或 放大 。 


图 10-6 КЕ ScenePerception f] @ 0 


单 击 窗口 右 侧 的 按钮 可 以 进行 以 下 操作 (从 上 到 下 顺序 ) : 
< 启动 /暂停 场 最 解析 。 
“ 放大 3D 重 构 场景 显示 。 键 盘 快 捷 键 +。 
“ 缩小 3D 重 构 场景 显示 。 键 盘 快 捷 键 -。 
` 重 置 场景 解析 。 键 盘 快 捷 键 f。 
· 切换 Volume 重 构 状 态 。 键 盘 快 捷 键 e。 
` 切换 网 格 化 状态 。 键 瘟 快 捷 键 m。 
' 中 心 / 重 置 摄像 头 视角 。 键 盘 快捷 键 c。 
` 锁定 /解锁 摄像 头 视角 : 静态 /动态 。 键 盘 快 捷 键 v。 
- 保存 网 格 数据 到 obj 文 件 。 键 盘 快捷 键 s。 
' 退出 程序 。 键 盘 快捷 键 为 q。 
4.RF ScenePerceptionSimple(C++) 
RF_ScenePerceptionSimple 示 例 是 一 个 控制 台 应 用 ， 展 示 了 SDK 场 景 解析 模块 的 性 能 。 
(1) 编译 与 执行 


可 以 使 用 在 $(RSSDK_DIR)/bin/$(Platform) 下 的 预先 编译 二 进 制 文 件 ， 或 使 用 一 个 $(RSSDK_DIR)/sample/RF_ScenePerceptionSimple 目 录 下 的 源 文件 重新 编译 。 该 示例 支持 Microsoft*Visual 
Studio*2012、2013 和 2015。 


(2) 指令 选择 
当 运 行 示例 时 ， 可 以 选择 如 表 10-1 所 示 的 指令 选项 。 


表 10-1 指令 选项 


项 н g 

闫 色 流 配置 。 比 如 ，640 x 480 x 30 
条 度 流 配 置 。 比 如 ，320 x 240 x 60 
-file <filename> | 指定 一 个 文件 来 回放 

-realtime [on|off] | 指定 是 否 实 时 回放 

-help 117 HJ 


(3) 操作 


-csize <config> | 指定 


-dsize <сопћ g> . K< 定 


该 示例 启动 将 显示 彩色 和 深度 流 两 个 窗口 ， 如 图 10-7 所 示 。 可 以 按 P 键 来 启动 场景 解析 。 示 例会 弹出 第 三 个 窗口 来 显示 网 格 ， 如 图 10-8 所 示 。 同 时 示例 会 在 控制 台 窗 口 显示 摄像 头 姿态 信息 ， 如 图 10-9 
所 示 。 


可 以 使 用 按 R 键 来 重 置 或 按 Q 键 来 退出 。 


Color (57 fps) 


图 10-7 彩色 和 深度 流 窗口 


图 10-8 ”ScenePerceptionSimple 示 例 的 网 格 显示 窗口 


RF_ScenePerceptionSimple Loading... 
RF_ScenePerceptionSimple is Configuring... 


RF_ScenePerceptionSimple is Configured Successfullu 


RF_ScenePerceptionSimple Starting 
‘qq to Quit 


Frame Number : 4952 


Press R to Reset Scene Perception 

Tracking ñccuracu: HIGH 

Camera Orientation: +0.99 +0.13 -0.06 | -0.13 +0.98 -0.13 | +0.04 +0.13 +0.99 
Camera Translation: +0.01 -0.01 +0.02 


图 10-9 ”控制 台 显 示 摄 像 关 姿态 信息 


5.RF_ScenePerception(Unity) 


RF_ScenePerception 示 例 显 示 在 Unity 游 戏 引 擎 支持 的 PC 平台 上 运行 SDK 场 景 解 析 模 块 。 本 例 要 求 Unity v4.1.0 PRO 或 更 高 版 本 。 
可 以 复制 示例 资源 到 可 写 文 件 夹 ， 双 击 Assets 人 /Scenes/RF ScenePerception.unity 来 启动 Unity 编 辑 器 ， 然 后 运行 游戏 。 


示例 屏幕 截图 如 图 10-10 所 示 。 示 例 开始 时 显示 彩色 图 像 ， 左 上 方 显示 帧 率 ， 左 下 方 显示 场景 质量 。 当 场景 质量 达到 一 个 预 设 阔 值 时 ，Start 按 钮 出 现在 控制 栏 的 右 人 出 ， 表 示 场 景 解析 可 以 启动 。 可 以 单 
击 Start 按 钮 来 启动 场景 解析 。 


< Scene Perception = 


810-10 ”RF_ScenePerception 场 景 解析 示例 窗口 


一 旦 场景 解析 启动 ， 窗 口 左 下 方 显示 跟踪 精度 ， 右 侧 栏 显示 可 选 的 控制 。 可 以 使 能 /禁用 跟踪 、 重 构 、 网 格 化 。 当 网 格 化 使 能 后 ， 网 格 会 以 绿色 的 覆盖 线 出 现在 彩色 图 像 上 ， 如 图 10-11 所 示 。 


< Scene Perception = = ЕД 
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图 10-11 网 格 化 的 场景 
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10-12 ”虚拟 物品 的 碰撞 和 阻塞 
示例 包括 一 系列 演 染 着 色 器 、 一 个 网 格 预制 件 以 及 下 列 脚本 : 
SenseInput.cs 脚 本 利用 SenseManager 来 初始 化 镜头 、 开 启 流 ， 以 及 一 些 开启 /关闭 功能 。 
.Options.cs 脚 本 实现 菜单 选项 ， 以 及 初始 场景 质量 检查 屏幕 。 
DepthFusion.cs 脚 本 调用 PXCMScenePerception 接 口 的 成 员 池 数 玉 实现 场景 解析 函数 。 当 网 格 被 显示 时 ， 脚 本 将 网 格 送 入 演 染 队列 ， 并 利用 meshPrefab 预 制 件 来 可 视 化 网 格 。 


网 格 化 函数 需要 较 长 时 间 来 完成 。 为 了 避免 阻塞 UI， 推 荐 该 函数 在 一 个 独立 的 线程 中 被 执行 。 此 外 创建 和 更 新 网 格 游戏 对 象 是 一 个 CPU 密集 的 过 程 ， 必 须 在 Unity 主 线程 中 实现 。 为 了 避免 丢 帧 ， 示 例 中 
大 约 有 200 个 网 格 游戏 对 象 在 Unity 主 线程 中 更 新 。 


· WorldFacingCamera.cs 脚 本 更 新 Unity 主 镜头 姿态 ， 并 从 场景 解析 模块 中 获取 姿态 信息 。 


- CubeBehaviot.cs 脚 本 控制 立方 体 交 互 ， 如 图 10-12 (Ж) 所 示 。 


第 11 章 ”语音 识别 与 合成 


语音 识别 与 合成 是 人 机 自然 交互 的 重要 通道 。 本 章 详细 介绍 SDK 的 语音 识别 过 程 、 命 令 控制 、 处 理 识别 事件 、 语 音 合成 算法 等 内 容 。 
SDK 支 持 语音 识别 与 合成 ， 具 体 功能 包括 : 


. 命令 与 控制 : 对 于 给 定 的 命令 字 列表 ，SDK 聆 听 输 入 的 语音 并 识别 出 一 个 命令 后 通知 用 户 。 
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: 听写 : 将 输入 的 语音 听写 成 文本 。 


бж: 对 指定 文本 产生 相应 的 语音 语句 。 


可 以 利用 下 列 步骤 在 应 用 程序 中 应 用 语音 识别 。 
1. 确 定 一 个 音频 源 (可 选 ) 


利用 Audiosource 接 口 来 枚 举 和 选择 一 个 音频 输入 设备 ， 如 例 11-1 所 示 。 


例 11-1 选择 一 个 音频 源 


C# 
// session 是 一 个 PXCMSession 实 例 
PXCMAudioSource source=session.CreateAudioSource (); 
// 扫描 和 枚 举 音频 设备 
source.ScanDevices () ; 
PXCMAudioSource.DeviceInfo dinfo; 
for (int d=source.QueryDeviceNum()-1l;d>=0;d--) { 
source.QueryDeviceInfo(i, out dinfo); 
// 选择 一 个 设备 然后 跳出 循环 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/ 


} 
// 设置 活跃 设备 
source.SetDevice (dinfo); 


SDK 支 持 从 一 个 音频 文件 中 读 取 获得 音频 源 。 该 音频 文件 可 以 是 系统 支持 的 任何 音频 格式 ， 如 WAV、MP3、WMV。 例 11-2 展 示 了 如 何 设 置 从 一 个 音频 文件 读 取 音频 数据 作为 音频 源 。 


111-2 选择 一 个 文件 作为 音频 源 


C# 
// session 是 一 个 PXCMSession 实 例 
PXCMAudioSource source=session.CreateAudioSource (); 
// 设 定 音频 文件 
PXCMAudqioSource .DeviceInfo dinfo=new PXCMAudqioSource .DeviceInfo (); 
dinfo.did= my audio file.waV ; 
// 设 定 活跃 设备 
source.SetDevice (dinfo); 


2. 模 块 实现 定位 
利用 Createlmpl 函 数 (或 者 Createlnstance 函 数 ) 来 创建 一 个 PXCSpeechRecognition 实 例 ， 如 例 11-3 所 示 。 
例 11-3 ”创建 一 个 音频 识别 实例 


C# 
PXCMSpeechRecognition sr; 
session.CreateImpl<PXCMSpeechRecognition>(out sr); 


3. 配 置 模块 


利用 QueryProfile 函 数 获取 可 用 的 配置 ， 并 利用 SetProfile 函 数 设 定 配置 ， 如 例 11-4 所 示 。 


例 11-4 配置 语音 识别 模块 


C# 
PXCMSpeechRecognition.ProfileInfo pinfo; 
sr.QueryProfile(0,out pinfo); 
pinfo.language=PXCMSpeechRecognition.LanguageType.LANGUAGE US ENGLISH; 


sr.SetProfile (pinfo); 


+ 必须 先 设 定 语言 。 如 果 不 设 定 ， 则 默认 语言 是 不 确定 的 ， 这 取决 于 当前 安装 在 平台 上 的 语言 是 什么 。 


4. 设 定 识别 模式 ( 选 定 ) 


利用 SetDictation 函 数 配置 语音 识别 模块 是 工作 在 命令 与 控制 模式 还 是 听写 模式 ， 如 例 11-5 所 示 。 详 情 请 参考 下 一 节 。 默 认 情况 下 ， 语 音 识 别 模块 设 定 为 听写 模式 。 


111-5 хет ЕЛ 


C# 
sr.SetDictation () ; 


5. 执 行 流程 


使 用 StartRec 函 数 开始 语音 识别 ， 并 使 用 StopRec 函 数 停止 识别 ， 应 用 程序 可 接收 任何 识别 活动 的 事件 ， 如 例 11-6 所 示 。 请 参考 11.1.2 节 。 


111-6 开始 /停止 语音 识别 


C# 
// 开始 识别 


sr.StartRec (source, handler); 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OE 


// 停止 识别 
sr.StopRec () ; 


11.2 ”语音 合成 算法 编程 


可 以 按照 下 列 步骤 在 应 用 程序 里 进行 语音 合成 。 

1. 模 块 创建 实现 
使 用 Createlmpl 函 数 创建 一 个 PXCSpeechSynthesis 实 例 ， 如 例 11-10 所 示 。 
例 11-10 ”创建 语音 合成 模块 实例 


C# 
PXCMSpeechSynthesistts; 
session.CreateImpl<PXCMSpeechSynthesis>(out tts); 


2. 初 始 化 模块 
使 用 QueryProfile 函 数 获取 可 用 配置 ， 并 使 用 SetProfile 国 数 进 行 配置 ， 如 例 11-11 所 示 。 


例 11-11 初始 化 语音 合成 模块 


C# 

PXCMSpeechSynthesis.ProfileInfopinfo; 
tts.QueryProfile(0,out pinfo); 
pinfo.language=PXCMSpeechSynthesis.LanguageType.LANGUAG 
tts.SetProfi F 


ENGL 


F US 


е (pinfo); 


通常 需要 设置 语言 。 如 果 不 设置 ， 则 默认 的 语言 是 依据 平台 目前 已 安装 语言 而 定 。 


3. 合 成 语音 


2, 


BPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 


使 用 Buildsentence 阔 数 来 合成 语音 。 所 合成 的 语音 被 存储 在 音频 缓冲 区 ， 多 个 音频 缓冲 区 由 句子 识别 器 区 别 ， 它 可 以 是 任何 非 零 的 唯一 值 。 可 以 使 用 QueryBuffer 函 数 来 获取 所 合成 的 音频 缓冲 区 ， 如 


例 11-12 所 示 。 


+ 在 获取 已 合成 数据 前 可 以 合成 多 个 句子 ， 并 使 用 ReleaseSentence 函 数 来 释放 任何 分 配给 合成 语音 的 资源 。 


例 11-12 合成 一 句 话 


C# 
// 合成 文本 字符 串 
tts.BuildSentence (1, “Speak this” ); 
// 获取 合成 语音 
intnbuffers=tts.QueryBufferNum(1); 
for (inti=0;i<nbuffers;i++) { 
PXCMAudio audio=tts.QueryBuffer(1, i); 
// 发 送 音频 给 音频 外 设 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/ 
} 
// 清理 
tts.ReleaseSentence (1); 
配置 合成 品质 


可 以 按 以 下 方式 细 调 语音 合成 品质 。 
1. 初 始 化 参数 

© 可 以 在 初始 化 (SetProfile) 期 间 使 用 下 列 参 数 来 细 调 语音 合成 。 它 们 适用 于 完整 的 句子 。 

. 音量 : 设置 音量 级 别 。 值 为 0 (静音 ) ~100 (最 大 音量 值 ) ， 默 认 值 为 80。 

“ 音 高 : 调整 音调 ， 缩 放 因 子 为 50 (默认 音 高 的 1/2) ~200 (默认 音 高 的 2 倍 ) ， 默 认 值 为 100。 
率 : 设置 语 速 。 值 为 50 (默认 速率 的 1/2) ~400 (默认 速率 的 4 倍 ) ， 默 认 值 为 100。 


- 暂停 延 时 (eosPauseDuration) : 设置 语句 暂 停 时 间 ， 值 为 0~9。 和 暂停 时 间 大 约 为 200 毫 秒 乘 以 该 值 。 


2.ESC 控 制 码 


可 以 将 ESC 控 制 码 插入 语音 合成 的 细 调 部 分 。 控 制 序 列 由 <ESC>ASCll 码 和 反 斜 杠 表示 的 命令 开头 。 


1) 录音 示例 : 


Record after the beep.<ESC>Naudio= “с:\реер.мау” N 


控制 序列 为 <ESC>\audio= "<file> \ 表 示 插 入 音频 录制 到 合成 语音 。 音 频 文件 必须 是 16 位 PCM 编 码 ， 并 且 WAV 文 件 的 采样 率 要 匹配 语音 


2) 暂停 示例 : 


am <FSC>Npause=300N John 


控制 序列 <ESC>\pause= <time>\ 表 示 在 合成 语音 中 插入 一 个 暂停 。 暂 停 以 毫秒 为 单位 。 


3) 文本 格式 化 示例 : 


The address reads <ESC>Ntn=addressN 2111 NE 25th Ave, Hillsboro, OR <ESC>\tn=normal\ 


控制 序列 <ESC>Ntn= <type>\ 表 示 引 导 合成 器 的 文本 格式 ，type 选 项 如 下 所 示 : 
- spel: 拼写 后 续 的 文本 。 
' address: 合成 文本 作为 地 址 。 
ms: 将 文本 合成 为 一 条 短信 。 
` normal: 重 置 为 常规 文本 处 理 。 


4) 阅读 模式 示例 : 


Follow me to spell the word Bee <FSC>Nreadmode=charN Bee 


控制 序列 <ESC>\readmode=<mode>\ 表 示 更 改 文本 应 如 何 合成 ，mode 选 项 如 下 所 示 : 
' Sent: 读 一 句 话 ， 停 顿 一 次 。 软 认 如 此 。 

' Char: 逐 字符 朗读 文本 《类 似 于 拼写 文本 格式 ) 。 

.wotd: 逐 单 词 朗 读 文 本 ， 单 词 之 间 停 顿 。 

' line: 逐 行 朗读 文本 ， 每 行 停顿 。 

.explicit_eos: 遇 到 \eos=\ 控 制 序列 时 分 割 句 子 。 


5) 单词 突出 等 级 示例 : 


A 


ESC>\nlu=PRM:3\ am the person you are looking for. 


控制 序列 <ESC>Nnlu=PRM:<level>\ 表 示 调 整 单 词 突出 等 级 ，level 选 项 如 下 所 示 。 
- 0: 降低 Reduced。 
. 1: 强调 Stressed。 
. 2: 重读 Accented。 


3: 超重 读 Emphasized。 


113 ”语音 识别 与 合成 应 用 举例 


1.DF ЅреесһЅупїһеѕіѕ (С++, C#) 


DF_SpeechSynthesis 和 DF_SpeechSynthesis.cs 示 例 分 别 展示 了 如 何在 C++ 和 C# 环 境 下 利用 语音 合成 接口 将 文本 转换 成 语音 。 


应 用 截图 如 图 11-4 所 示 。 


ARRE. 


Module Language Volume Pitch Speech Rate 


` 使 用 Module 菜 单 来 选择 合成 模块 。 

` 使 用 Language 菜 单 来 选择 语言 设 定 。 

` 使 用 响应 编辑 框 来 改变 音量 、 音 高 或 者 语 速 。 

` 在 下 方 文本 框 中 输入 要 合成 的 语句 。 

` 单 击 Speak 按 钮 。 合 成 语音 将 会 稍 后 在 默认 的 语音 设备 上 播放 。 

. 单 击 Save As 按钮 来 保存 合成 语音 到 一 个 波形 文件 。C# 示 例 中 没有 这 个 按钮 。 
2.DF SpeechRecognition (C++, C#) 


DF_SpeechRecognition 和 DF_SpeechRecognition.cs 示 例 分 别 演示 了 在 C++ 和 C# 语 言 环境 下 如 何 使 用 语音 识别 模块 接口 进行 语音 命令 控制 和 听写 。 


示例 主 窗口 如 图 11-5 所 示 。 菜 单 可 以 选择 语音 输入 源 、 识 别 模块 、 语 言 以 及 识别 模式 (听写 或 命令 与 控制 ) 。 状 态 窗口 中 显示 进展 状态 。 


图 11-5 语音 识别 示例 主 窗口 


可 以 单 击 Start 按 钮 开始 听写 或 命令 控制 ， 单 击 Stop 按 钮 来 停止 操作 。 在 听写 期 间 ， 听 写 窗口 显示 识别 语句 ， 如 图 11-6 所 示 。 对 于 命令 控制 ， 可 以 单 击 [Enter New Command] 输 入 一 个 新 的 命令 列表 ， 
然后 单 击 Start 按 钮 开始 命令 控制 。 示 例 在 命令 控制 窗口 显示 了 所 有 置信 值 的 可 能 性 ， 如 图 11-7 所 示 。 


| [Helo hello helo ГЇ tel me something fun or or you _ 
| [E-mail 


图 11-6 ”听写 窗口 显示 识别 语句 


Status 


SPEECH_LINRECOGNIZABLE 


VOLUME_HIGH 
VOLUME HIGH 
VOLUME_HIGH 
SPEECH_UNRECOGNIZABLE r 
VOLUME_LOW | 


m 


| 


图 11-7 命令 控制 窗口 


当 处 于 听写 模式 时 ， 可 以 在 Mode 菜 单 中 为 语音 引擎 添加 新 的 词汇 表 。 一 个 词汇 表 文件 是 一 个 包含 一 系列 单词 的 文本 文件 。 当 处 于 命令 控制 模式 时 ， 可 以 在 Mode 菜 单 中 选择 用 JSGF 文 件 ( 语 法 规范 ) 


设置 命令 控制 语法 。 


第 12 章 ”无 接触 控制 算法 


无 接触 控制 模块 允许 用 户 使 用 手势 来 控制 基本 的 用 户 界 面 功能 ， 例 如 移动 光标 、 滚 动 或 选择 等 。 这 个 模块 和 Intel RealSense 摄 像 头 结合 在 一 起 就 能 用 来 识别 某 些 特定 的 手势 ， 这 些 手势 可 以 用 来 触发 U1 
控制 。 所 谓 “无 接触 ”是 因为 模块 本 身 不 需要 用 户 触摸 鼠标 、 键 盘 或 者 其 他 的 设备 ， 而 只 是 在 计算 机 屏幕 面前 通过 更 为 直观 的 手势 来 进行 控制 。 


无 接触 控制 模块 是 基于 手 部 跟踪 模块 进行 工作 的 ， 手 部 跟踪 模块 提供 原始 手 部 跟踪 和 手势 识别 信息 。 相 较 于 接触 控制 的 方式 ， 无 接触 控制 模块 体现 了 更 高 水 平 的 功能 ， 可 以 将 手势 映射 到 Ul 控 制 并 引发 
适当 的 系统 事件 。 另 外 ， 此 模块 的 手势 识别 特征 是 为 进行 UI 控制 的 任务 而 专门 量 身 定做 的 。 而 且 ， 当 一 个 缩放 的 动作 正在 进行 时 ， 其 他 不 相关 的 手势 (例如 点 击 ) 就 被 忽略 掉 。 


本 算法 仅 适 用 于 摄像 头 模 型 F200、SR300。 


121 处理 UI 控件 


无 接触 控制 是 由 跟踪 到 的 手 部 运动 得 来 的 。 因 此 ， 要 开始 操作 ， 模 块 必须 先 识别 出 用 户 的 手 部 。 用 户 需 要 将 手 放 在 计算 机 屏幕 前 ， 并 做 一 个 张 开 且 放 松 的 手势 以 初始 化 手 部 跟踪 ， 该 手势 如 图 12-1 所 


图 12-1 五 指 张 开 的 手势 来 初始 化 跟踪 


用 户 可 以 任意 用 左手 或 者 右手 来 做 UI 控制 手势 。 在 任意 给 定时 间 内 ， 只 有 一 只 手 能 控制 应 用 。 


模块 利用 初始 手 部 位 置 来 计算 手 控制 应 用 时 在 真实 世界 可 能 的 运动 范围 。 实 际 上 ， 模 块 以 被 跟踪 的 手 部 为 中 心 “ 画 ”出 一 个 虚拟 的 3DY 方 体 。 手 相对 于 这 个 立方 体 的 运动 被 翻译 为 光标 相对 于 屏幕 的 运 


动 。 比 如 ， 如 果 手 运动 到 立方 体 的 右 侧 平面 ， 相 应 地 ， 光 标 就 移动 到 屏幕 的 右边 缘 。 立 方 体 的 Xx、Y、Z 维 度 由 一 个 变量 表示 ， 事 件数 据 中 提供 的 位 置 变 量 (X，Y，Z) 从 0 到 1 变化 。 


每 当 手 部 离开 和 返回 摄像 头 的 感知 视野 时 ， 包 围 它 的 3D 立 方 体会 被 重新 计算 。 


12.2 ”配置 无 接触 控制 模块 


在 激活 无 接触 控制 模块 之 前 ， 或 者 在 它 正在 运行 期 间 ， 可 以 通过 调用 SetProfile 函 数 启用 或 禁用 它 的 配置 选项 。 这 些 选 项 关系 到 特定 的 UI 控 制 和 事件 注入 。 设 置 配置 选项 要 使 用 一 个 位 掩 模 变量 ( 配 
置 “策略 ”) 。 该 变量 的 每 一 位 代表 不 同 的 选项 ， 某 位 为 1 表示 启用 相应 选项 ， 某 位 为 0 则 表示 禁用 该 选项 。 表 12-1 描 述 了 所 支持 的 配置 选项 。 


配置 选项 
Configuration None 
Configuration Allow Zoom 
Configuration Scroll Horizontally 
Configuration Scroll Vertically 


Configuration Meta Context Menu 


表 12-1 无 接触 控制 配置 选项 


я Ж 
所 有 无 接触 控制 选项 被 禁 
局 用 缩放 操作 
局 用 水 平 滚动 
局 用 垂直 滚动 
局 用 元 菜单 功能 


局 用 键盘 输入 和 下 接 面 回 操作 系统 的 接触 事件 

当 指针 在 屏 工 左 或 右边 缘 时 局 用 水 平 滚动 。 除 了 用 户 下 接 做 出 滚动 手 
势 ， 这 是 万 一 种 触发 滚动 的 方式 

当 指针 在 屏 蔗 上 边 绿 或 下 边缘 时 局 用 垂直 滚动 ， 
动手 势 ， 这 是 另 一 种 触发 滚动 的 方式 


Configuration Enable Injection 
Configuration Edge Scroll Horizontally 


| RTA НАБИ 
Configuration Edge Scroll Vertically 


Configuration Allow Back 局 用 返回 动作 
Configuration Allow Selection 局 用 选中 动作 
设置 滚动 和 指针 灵敏 度 
下 面 有 两 个 附加 的 TouchlessController 函 数 以 配置 模块 行为 。 
1) SetScrollSensitivity: 此 函数 接收 一 个 浮 点 数 作为 参数 ， 当 指针 在 屏幕 的 4 个 边缘 之 一 处 时 ， 该 值 是 默认 滚动 速度 的 加 倍 的 倍数 。 该 参数 值 为 1 保持 默认 速度 ， 少 于 1 则 减 小 滚动 速度 ， 大 于 1 则 增 大 滚 


动 速度 。 推 荐 值 范围 是 0.25~4。 


2) SetPointerSensitivity: 此 函数 接收 Pointersensitivity 作 为 参数 值 ， 并 决定 指针 运动 的 “平滑 ”程度 。 指 针 移动 是 根据 被 跟踪 手 的 运动 来 计算 的 ， 这 可 能 会 产生 “抖动 ”。 “平滑 ”运动 过 滤 掉 了 小 


的 抖动 ， 从 而 产生 更 一 致 的 运动 路 径 。 该 参数 可 能 的 值 如 下 。 
+ PointetSensitivity_Sensitive: 指针 运动 尽 可 能 紧密 地 遵循 手 的 运动 。 
:PointetSensitivity_Balanced: 指针 运动 相对 原始 的 手 部 运动 被 适度 “平滑 化 ” 


· PointerSensitivity_Smoothed: 指针 运动 相对 原始 的 手 部 运动 被 显著 “平滑 化 ” 


123 ЯМЕ 


无 接触 控制 模块 可 以 发 送 警 报 来 表示 一 个 警告 或 者 警告 解除 。 当 被 跟踪 的 手 即将 退出 有 效 跟踪 学 围 时 ， 预 警 警报 被 发 出 〈 因 为 此 时 手 部 距离 传感器 太 近 或 者 太 远 ) 。 当 手 回 到 有 效 跟踪 范围 内 时 ，SDK 
触发 另 一 个 警报 。 


可 以 采用 与 实现 和 注册 一 个 事件 处 理 器 同样 的 方式 来 实现 和 注册 一 个 警报 处 理 器 。 表 12-2 描 述 了 应 用 程序 可 能 会 收 到 的 警报 代码 。 

表 12-2 警报 
报 Fa 述 
Alert TooClose 王 离 报 像 头 太 近 ， 不 利于 进行 可 徘 的 手势 识别 
Alert TooFar 于 离 摄像 头 太 远 ， 不 利于 进行 可 徘 的 手势 识别 
Alert NoAlerts 于 返回 有 效 的 跟踪 范围 


Їй 


ZN 


例 12-3 展 示 了 如 何 实现 一 个 警报 处 理 程序 。 


例 12-3 ”警报 处 理 示 例 


C# 
void OnFiredAlert (PXCMTouch] 


LessController.AlertData alertData) 


switch (alertData.type) { 
case PXCMTouchlessControl] 
// 处 理 手 部 离 得 太 近 警报 


http://www.hzcourse.com/resource/readi 


break; 
// 处 理 其 他 警报 


http://www.hzcourse .com/resource/readi 


} 
F7 


{ 


ler.AlertData.AlertType.Alert TooClose: 


Book?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/te 


Book?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 


12.4 ”将 手势 映射 为 UI 控制 


用 户 可 能 希望 扩大 能 触发 无 接触 UI 控制 的 手势 列表 。 除 了 在 12.1.1 节 中 描述 的 基本 UI 控制 以 外 ， 还 可 以 从 很 多 方面 提供 更 多 无 接触 控制 功能 的 支持 ， 比 如 在 选项 和 页 面 之 间 移 动 、 控 制 瘟 频 播放 和 音量 


可 以 通过 调用 AddGestureActionMapping 遂 数 来 将 某 些 特定 的 手势 映射 到 标准 Ul 事件 ， 并 视 情况 可 以 提供 一 个 自 定义 处 理 程序 来 处 理 这 些 事件 。 可 以 从 下 面 看 到 可 以 映射 为 UI 控制 的 手势 列表 。 


可 以 选择 将 一 个 或 多 个 额外 的 手势 映射 到 下 列 系统 UI 控制 功能 : 


‚ Action_LeftKeyPress” 左 箭头 
* Action_RightKeyPress 
* Action_BackKeyPress 

* Action_PeUpKeyPress 
+ Action_PeDnKeyPress 
: Action_VolumeUp 


· Action VolumeDown 


- Action Mute 


键 按 下 。 


右 箭头 键 按 下 。 


返回 键 按 下 。 


向 上 翻 页 键 按 下 。 


向 下 翻 页 键 按 下 。 


媒体 音量 加 键 按 下 。 


媒体 音量 减 键 按 下 。 


媒体 静音 键 按 下 。 


- Action_NextTrack 下 一 首 键 按 下 。 
- Action_PrevTrack 上 一 首 键 按 下 。 
播放 /暂停 键 按 下 。 


· Action_PlayPause 


: Action Stop ”停止 播放 键 按 下 。 


* Action_ToggleTabs 


可 以 选择 以 下 两 种 方式 来 处 理 其 他 手势 : 


. 实现 和 注册 一 个 自 定义 事件 处 理 器 来 处 理 额 外 手势 的 发 生 。 


Windows 键 +Z 键 按 下 (用 于 在 Internet Exploret 显 示 选 项 卡 菜单 ) 。 


` 对 上 映射 函数 不 提供 事件 处 理 器 程序 。 在 这 种 情况 下 ， 标 准 的 操作 系统 机 制 来 处 理 手 势 映 射 的 事件 。 


例 12-4 展 示 了 在 没有 提供 自 定义 事件 处 理 程序 的 情况 下 ， 如 何 将 额外 手势 映射 到 UI 控制 。 


例 12-4 ”将 手势 映射 到 UI 控制 


C# 


touchlessContro] 


touchlessContro] 


ler.AddGestureActionMapping ("swipeLeft", PXCMTouchless-Controller.Action.Action LeftKeyPress); 
ler.AddGestureActionMapping; 


例 12-5 展 示 了 如 何在 提供 自 定义 事件 处 理 者 程序 的 同时 ， 将 额外 手势 映射 到 U1 控制 。 


112-5 ”用 事件 处 理 者 程序 将 手势 映射 到 UI 控制 


C# 
void OnFiredAction (PXCMTouc 
switch(action) í 
case PXCMTouchlessContr 
// 处 理 左 键 按 下 动作 
http://www.hzcourse 
break; 
// 处 理 其 他 动作 
ht 


tp://www.hzcourse 


}; 


http://www.hzcourse.com/res 


hlessController.Action action) í 


oller.Action.Action LeftKeyPress: 


.com/resource/readBook?path=/openresources/! 


teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/ 


.com/resource/readBook?path=/openresources/! 


teach ebook/uncompressed/15635/OEFEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/ 


ource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teach ek 


touchlessContro] 


ler.AddGestureActionMapping ("swipeLeft", 


touchlessContro] 


125 无 接触 控制 应 用 举例 


1.FF TouchlessListBox (C#) 


PXCMTouchlessController.Action.Action LeftKeyPress, OnFiredAction); 
ler.AddGestureActionMapping ("swipeRight", PXCMTouchlessController.Action.Action RightKeyPress, OnFiredAction); 


FF_TouchlessListBox.cs 这 个 例子 展示 了 如 何 监听 无 接触 控制 模块 事件 ， 如 图 12-7 所 示 。 


0 Touchless List Box = 


hem 1 


hem 2 


Fen 4 


hem 5 


12-7 FF TouchlesslListBox Ж 


本 例 提供 了 一 个 带 有 基本 列表 的 简单 窗口 。 可 以 使 用 以 下 导航 手势 : 

* 将 手 放 在 离 屏 幕 大 约 30 厘 米 的 位 置 ， 示 例 识别 手 的 上 下 移动 来 高 亮 突出 不 同 的 表 项 。 

` 在 空中 将 手 向 前 推进 做 出 一 个 点 击 手势 来 选择 一 个 特定 的 表 项 。 

` 捏 住 手指 并 上 下 拖 动 来 滚动 表格 。 
本 例 可 以 回放 记录 的 操作 序列 ， 为 此 需 通 过 将 文件 名 作为 命令 行 参 数 来 运行 示例 。 可 以 用 任何 手 部 跟踪 示例 来 记录 操作 序列 。 
示例 源 代码 位 于 $ (RSSDK РІК) /framework/CSharp/FF_TouchlessListBox.cs, 


2.FF TouchlessControllerViewer (C#) 


FF TouchlessControllerViewer.cs 示 例 是 一 个 Windows Presentation Foundation (WPF) 应 用 ， 本 例 展 示 了 如 何 用 无 接触 控制 模块 来 做 出 一 些 酷 炫 视觉 效果 。 


示例 源码 位 于 $(RSSDK_DIR\framework\CSharp\FF_TouchlessControllerViewer.cs。 可 将 示例 源码 复制 到 一 个 可 写 目 录 下 ， 并 从 源码 构建 工程 ， 或 者 直接 运行 
$ (RSSDK DIR) /bin/$ (Platform) /FF TouchlessControllerViewer.cs.exe。 


示例 运行 如 图 12-8 所 示 ， 在 这 个 窗口 中 ， 可 以 用 手 控制 光标 并 做 以 下 导航 手势 : 
将 手 放 在 摄像 头 前 直至 手 形 光 标 出 现 。 
` Zoom In/Out 保 持 捏 的 动作 并 将 手 移 向 摄像 头 或 远离 摄像 头 来 实现 缩放 操作 。 


“Scroll 做 捍 的 动作 同时 将 手 向 上 /下 / 左 / 右 移动 来 进行 滚动 操作 。 


Edge Sctoll 将 光标 放置 在 窗口 边缘 。 

+ Тар the'Click Me'button 将 光标 定位 在 按钮 上 ， 然 后 “ 推 手 并 很 快 “ 拉 ”回来 ， 以 实现 点 击 操 作 。 

“ 挥动 手 从 一 边 到 另 一 边 ， 直 至 出 现 挥动 标记 。 
Zoom: Pinth away from the camera. 
“стой Pinch and move your hand русса уга to soroll im any саге стоп 
Edge Seroll: Position the cursor at the есе of the window 


Тар the ‘Click Ме" button by ‘Pushing’ your hand arwi ‘pulling’ it back, сиу. 


p= 


| AU 
inte) REAL5ENSE Е: 


r 


Моше аї x: 653.6, y: 595.2 


12-8 ”TouchlessConttollefrViewet 示 例 窗 口 


用 户 分 割 是 把 用 户 与 背景 分 离 的 重要 手段 ， 可 以 用 于 实现 用 户 虚 拟 游戏 、 沉 浸 式 协作 、 真 假 时 空 对接 等 。 本 章 将 详 述 SDK 实 时 用 户 分 割 编 程 流程 。 


131 概述 


用 户 分 割 模 块 生成 每 帧 分 割 图 像 ， 可 以 用 来 删除 或 替换 用 户 的 头 和 肩膀 后 面 的 部 分 图 像 (背景 ) 。 
用 户 分 割 算 法 仪 适用 于 摄像 头 模 型 F200、SR300。 
1. 输 入 和 输出 (分割 ) 图 像 


用 户 分 割 模块 依靠 同步 的 彩色 和 深度 图 像 来 工作 ， 支 持 多 种 分 辨 率 如 [颜色 320x 240/ 深 度 640x480] 和 [颜色 640x360/ 深 度 640x480]。 输 出 图 像 的 分 辨 率 总 与 输入 彩色 图 像 的 分 辨 率 相 匹 配 。 输 出 图 像 采 
用 32 位 BGRA (PIXEL_FORMAT_RGB32) 格式 ， 并 包含 一 个 输入 彩色 数据 的 副本 和 一 个 合成 的 alpha 通 道 (分 割 掩 模 ) 。 背 景 像素 点 的 alpha 通 道 值 为 0， 而 用 户 像素 点 将 会 有 一 个 大 于 0 的 alpha 值 。 


2.SenseManager 编 程 


为 在 SenseManager 多 模 态 流水 线 中 激活 用 户 分 割 ， 需 调用 Enable3DSeg 函 数 。 可 以 通过 下 面 两 种 方式 在 应 用 程序 中 实现 用 户 分 割 : 使 用 SenseManager 过 程 函 数 或 使 用 SenseManager 回 调 函 数 。 


3. 使 用 SenseManager 程 序 函 数 实现 用 户 分 割 
例 13-1 展 示 了 一 个 典型 的 用 户 分 割 应 用 程序 的 例子 。 该 例 做 了 如 下 工作 : 
1) 从 Session 实 例 创建 一 个 SenseManager 接 口 实例 。 
2) 通过 使 用 Enable3DSeg 函 数 激活 用 户 分 割 。 
3) 初始 化 SenseManager 流 水 线 (Inib 和 图 像 帧 循环 处 理 (AcquireFrame 和 Release-Frame)。 每 当 一 个 分 割 图 像 可 用 时 ，Query3DSeg 函 数 返 回 一 个 有 效 的 实例 。 
Query3DSeg 函 数 是 可 选 的 。 如 果 调 用 AcquireFrame 函 数 并 使 ifall=true， 这 会 阻塞 程序 的 运行 直到 所 有 模 态 结果 都 准备 好 为 止 ， 这 种 情况 下 调用 Query3DSeg 检 查分 割 结果 就 不 是 必需 的 了 。 


4) 在 整个 流程 中 ， 在 某 些 情况 下 可 以 通过 调用 Pause3DSeg 遂 数 来 暂停 /恢复 模块 的 运行 。 


5) 清理 此 例 程 。 


例 13-1 使 用 SenseManager 过 程 国 数 实 现 用 户 分 割 


C# 

// 创建 一 个 SenseManager 实例 

PXCMSenseManager зэп=РХСМбепѕеМападег.СгеаёеІпѕіапсе (); 
// 激活 用 户 分 割 

sm.Enable3DSeo (); 

// 初始 化 流水 线 

sm.Init(); 


// 流水 处 理 数据 


while (sm. —— екы араа апы { 
// 获取 结果 
PXCM3DSeg seg=sm.Query3DSeo () ; 


if (seg!=null) { 

PXCMImage image=seg.AcquireSegmentedImage () ; 

http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teac 
image.close(); 


} 
// 继续 下 一 帧 的 处 理 准备 


sm.ReleaseFrame () ; 


) 
// 清理 
sm.close () ; 


4. 使 用 SenseManager 回 调 函 数 实现 用 户 分 割 
也 可 以 使 用 SenseManager 回 调 函 数 实现 用 户 分 割 。 例 13-2 为 使 用 回调 的 用 户 分 割 程 序 。 当 有 一 些 分 割 结果 需要 处 理 时 ，SDK 调 用 OnModuleProcessedFrame 回 调 函 数 。 


113-2 ”使 用 SenseManager 事 件 函 数 实现 用 户 分 着 


C# 

pxcmStatus OnModuleProcessFrame (Int32 mid, PXCMBase module, PXCMCapture.Sample sample) { 
// 检查 回调 是 否 来 自用 户 分 割 模块 

f (mid==PXCM3DSeg.CUID) { 

PXCM3DSeg seg=module.Querylnstance<PXCM3DSeo)> (); 

http: //www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/. .http://www.hzcourse.com/resource/readBook?path=/openresources/te 


nen 


} 

// 返回 NO_ERROR 继 续 ; 如 果 出 错 则 报错 并 放弃 

return pxcmStatus.PXCM STATUS NO ERROR; 
) 


}; 

// 创建 SenseManager 实例 

55 anager sm=PXCMSenseManager .CreateInstance () ; 

// 使 能 用 户 分 割 

sm.Enable3DSeo (); 

// 初始 化 

PXCMSenseManager.Handler handler=new PXCMSenseManager.Handler { 
onModuleProcessedFrame=0nModuleProcessedFrame 

}; 

sm. Init (handler); 

// 流水 线 处 理 数据 

sm.StreamFrames (true) ; 

// 清理 


sm.Dispose () ; 


132 ”用户 分 割 应 用 举例 


FF_3DSeg 和 FF_3DSeg.cs 是 两 个 用 来 展示 用 户 分 割 特性 的 示例 程序 。 
FF_3DSeg (C++) 示例 是 一 个 控制 台 应 用 程序 ， 支 持 以 下 命令 行 选项 。 

' load: 以 可 见方 式 加 载 指 定 模 块 。 

: nframes: 指定 记录 的 最 大 帧 数 。 

' record: 局 用 文件 记录 。 使 用 fle 选 项 来 指定 记录 的 文件 名 。 

' file: 指定 记录 或 者 回放 的 文件 名 。 如 果 tecotrd 未 指定 ， 该 示例 仅 回 放 指 定 的 文件 。 否 则 ， 示 例 将 摄像 头 数 据 记 录 到 指定 的 文件 中 。 
SDK 安 装 目录 有 特殊 权限 上 且 不 可 写 。 为 了 保存 文件 记录 ， 请 在 一 个 可 写 的 目录 下 指定 文件 名 。 

. help: 打印 帮助 信息 。 


企 一 个 命令 窗口 运行 示例 ， 示 例 在 一 个 弹出 窗口 中 显示 分 割 图 像 ， 如 图 13-1 所 示 。 


User Segmentation (29 fps} 


图 13-1 用 户 分 割 窗 口 

FF 3DSseg.cs 示 例 是 一 个 C#GUI (图 形 用 户 界 面 ) 应 用 程序 。 
如 图 13-2 所 示 ， 在 主 菜单 中 可 以 选择 下 列 项 目 。 

. Device: 选择 输入 设备 。 

Color/Depth: 选择 输入 流 分 辩 率 。 

· Mode: 选择 以 下 运行 模式 。 

`- Live: 从 摄像 头 获 得 实时 输入 流 。 

- Playback: АЖЖ А Ф, 

· Record: 输入 流 来 自 实 时 摄像 头 ， 并 将 内 容 保存 到 文件 中 。 
窗口 右边 有 一 组 控制 选项 。 

` Segmented: 在 显示 面板 显示 分 割 图 像 。 

· Color: 在 显示 面板 显示 彩色 图 像 。 

` Depth: 在 显示 面板 显示 深度 图 像 。 

' Scale: 将 图 像 缩放 至 显示 面板 的 分 辩 率 。 

' PIP: 选择 画 中 画 模 式 显 示 最 后 两 个 图 像 。 


可 以 单 击 start 按 钮 开始 播放 ， 单 击 Stop 按 钮 停止 播放 。 示 例 在 显示 面板 图 示 了 分 割 的 图 像 (或 者 其 他 已 选 图 像 类 型 ) ， 如 图 13-3 所 示 。 


13-2 ”3DSegcs 示 例 的 主 窗 口 


Intel(R} RealSense(TM) SDK: 3dseg.cs 


13-3 ”3DSeg.cs 示 例 播放 过 程 


第 14 草 ”算法 工具 


SDK 实 现 了 各 算法 模块 所 需 的 一 些 公 用 算法 。 本 章 将 介绍 平滑 、 旋 转 、 点 转换 等 实用 算法 工具 的 使 用 方法 。 


141 平滑 实用 程序 


在 各 种 各 样 的 算法 中 ，Smoother 工 具 可 以 用 来 平滑 包含 一 、 二 或 者 三 维 数据 序列 。 平 滑 算法 的 目的 是 去 除数 据 序列 的 “噪声 ”， 这 些 噪声 要 么 是 由 于 一 个 非典 型 的 样本 ， 要 么 是 由 于 一 个 采样 错误 而 
产生 的 。 同 样 的 ， 随 着 时 间 的 推移 ， 平 滑 一 系列 数据 点 (比如 随 着 时 间 的 推移 平滑 手 或 关节 位 置 ) 使 得 物体 的 跟踪 定位 更 加 稳定 和 更 少 的 拌 动 。 图 14-1 展 示 了 一 个 数据 序列 的 平滑 。 


--- Unsmoothed data series 
--- Smoothed data series 


图 14-1 数据 平滑 


可 以 用 平滑 工具 来 平滑 任何 在 线 数据 序列 〈 它 并 不 一 定 代表 一 只 手 或 者 一 个 物理 对 象 ) < “人 在线” 在 这 里 意味 着 这 一 系列 数据 是 一 个 接 一 个 地 给 出 ， 并 立即 被 平滑 ， 而 不 像 “ 离 线 ” 算 法 那样 先 读 取 所 
有 数据 然后 整体 平滑 。 


1 平滑 算法 
有 4 种 不 同 的 平滑 算法 ， 可 以 应 用 于 包含 一 、 二 或 三 维 点 的 数据 序列 。 因 此 可 以 创建 12 种 平滑 器 (根据 算法 和 点 的 维度 ) 。 


可 用 的 平滑 算法 如 下 。 


1) Stabilizer。 为 稳定 空间 中 代表 一 个 静止 物体 的 点 。 在 给 定 的 阅 值 下 ， 忽 略 了 小 的 变化 ， 并 用 同一 点 表示 附近 的 点 。 运 动 平滑 也 应 用 于 当 新 的 点 超出 稳定 半径 的 时 候 。 
2) Weighted。 根 据 所 选 的 权重 ， 用 过 去 N 个 点 的 加 权 平 均 蔡 换 当前 点 。 


3) Quadratic (基于 时 间 的 平滑 ) 。 在 前 一 个 点 和 当前 点 之 间 插 入 一 个 二 次 方程 式 。 这 将 使 得 运动 被 稳定 和 平滑 ， 其 效果 取决 于 新 的 点 与 当前 点 之 间 的 距离 。 

4) Spring (基于 时 间 的 平滑 ) 。 在 前 一 个 点 和 当前 点 之 间 插 入 一 个 线性 方程 式 ， 从 而 产生 一 个 平滑 效果 。 

在 “基于 时 间 的 平滑 ”算法 中 ， 插 入 值 取 决 于 获得 两 个 样本 之 间 的 时 间 差 。 

当 在 数据 上 应 用 平滑 时 ， 请 测试 所 有 相关 的 平滑 算法 ， 并 党 试 不 同 的 平滑 参数 。 算 法 的 效果 取决 于 数据 本 身 ， 所 以 当 在 新 的 数据 类 型 上 应 用 平滑 时 ， 不 要 认为 同样 的 设置 可 以 达到 相似 的 效果 。 
2. 创 建 一 个 平滑 器 实例 

安装 一 个 平滑 器 实例 的 步骤 如 下 : 

1) 创建 smoother 类 。 这 一 步 仅 产生 了 类 处 理 器 ， 且 只 应 该 被 调用 一 次 。 

2) 使 用 smoother 来 创建 特定 的 平滑 器 实例 。 有 4 种 不 同 的 平滑 算法 和 3 种 输入 数据 类 型 (一 维 、 二 维和 三 维 的 点 ) ， 所 以 总 共有 12 种 不 同 的 平滑 器 产生 方式 : 

- Create] DStabilizer/Create2DStabilizer/Create3DStabilizer(stabilizeStrength, stabilizeRadius) 


参数 stabilizerRadius 定 义 了 一 个 范围 ， 在 这 个 范围 内 的 运动 可 以 被 忽略 。 参 数 stabilizerstrength 定 义 了 当 运 动 超过 稳定 半径 时 应 用 于 该 运动 的 平滑 化 程度 。 这 个 值 的 范围 是 0 到 1，1 是 最 光滑 (增加 了 
最 多 的 延 时 ) ° 


“ Create DWeighted/Create2DWeighted/Create3DWeighted(numWeights, weights) 


参数 numWeigths 定 义 了 用 于 平滑 的 权重 数量 ， 这 里 每 一 个 权重 代表 一 个 先前 的 位 置 。 参 数 weights 是 一 个 权重 的 数组 ， 与 numWeights 大 小 相同 ， 并 乘 上 了 前 面 的 位 置 值 。 如 果 处 在 点 N， 那 么 单元 i 
的 权重 将 会 与 在 第 N-numWeights-i) 帧 的 位 置 相 乘 。 如 果 没 有 指定 weights 数 组 ， 所 有 的 权重 值 将 会 是 I/numWeights。 


- Create1 DQuadratic/Create2DQuadratic/Create3DQuadratic(smoothStrength) 

参数 smoothStrength 定 义 了 应 用 于 每 一 帧 平滑 程度 。 此 参数 值 范 围 是 0 到 1，1 是 最 光滑 的 (增加 了 更 多 的 延迟 ) 。 
- Create1 DSpring/Create1 DSpring/Create1 DSpring(smoothStrength) 

参数 smoothStrength 定 义 了 应 用 于 每 一 帧 平滑 程度 。 此 参数 值 范 围 是 0 到 1，1 是 最 光滑 的 (增加 了 更 多 的 延迟 ) 。 


由 于 使 用 了 不 同 的 算法 并 且 数 据 也 不 同 ， 应 该 假定 同一 smoothStrength (或 stabilizerStrength) 参数 对 于 平滑 的 数据 有 不 同 的 影响 。 可 根据 不 同 的 需要 尝试 不 同 的 算法 ， 并 使 用 不 同 的 平滑 参数 ， 以 
找到 最 匹配 自己 的 场景 的 设置 。 例 14-1 展 示 了 如 何 创建 一 个 用 于 三 维 数据 点 的 二 次 平滑 器 。 


例 14-1 创建 三 维 数据 点 的 二 次 平滑 器 


C# 
// 创建 一 个 PXCSession 实例 
PXCMSession session = PXCMSession.CreatelInstance (); 


// 创建 一 个 PXCSmoother 实例 

PXCMSmoother smoother; 
session.CreateImpl<PXCMSmoother> (out smoother); 
// 创建 一 个 3D 平滑 器 ， 采 用 带 [0-1] 的 参数 二 次 平滑 器 
PXCMSmoother .Smoother3D smoother3D = smoother.Create3DOuadratic(0.8f 


x 
` 


3. 重 置 平滑 值 


可 以 调用 Reset 函 数 (Smoother1D.Reset，Smoother2D.Reset， 或 Smoother3D.Reset) 来 重 置 平滑 算法 ， 当 下 次 调用 SmoothValue 函 数 
(Smoother1D.SmoothValue, Smoother2D.SmoothValue, 或 Smoother3D.SmoothValue) 时 设置 初始 值 ， 参 见 例 14-2。 


114-2 重 置 一 个 平滑 器 


C# 

// 重 置 平 滑 器 

smoother3D.Reset () ; 

// jointData.positionWorld 将 被 设 为 平滑 器 的 初始 值 
smoother3D.SmoothValue (jJointData.positionWorld); 


4. 使 用 平滑 器 程序 


例 14-3 示 例 了 如 何平 滑 关 节 的 3D 坐 标 位 置 。 


例 14-3 ”使 用 3D 二 次 平滑 器 


C# 

// 主 处 理 循环 

// sm 是 一 个 PXCSenseManager 实 例 

while (sm.AcquireFrame (true) .IsSuccessful()) { 
// 获取 指定 关节 的 手 部 跟踪 数据 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/teach 
// 平滑 关节 位 置 数据 
// smoother3D 是 一 个 PXCSmoother: :Smoother3D 实 例 

PXCMPoint3DF32 smoothedPoint = smoother3D.SmoothValue (jointData.positionWorld); 

// 为 下 一 帧 处 理 做 准备 


Sm.ReleaseFrame () ; 


} 


例 14-4 展 示 了 如 何 使 用 二 次 平滑 算法 来 平滑 食指 3D 位 置 。 


例 14-4 平滑 食指 数据 


C# 
// 初始 化 
PXCMSenseManager senseManager = PXCMSenseManager.CreateInstance (); 
// 手 部 模块 设置 
senseManager .EnableHand () ; 
PXCMHandModule handModule = senseManager .QueryHand () ; 
PXCMHandData handDataOutput = handModule.CreateOutput () ; 
// 创建 PXCSmoother 实例 
PXCMSmoother smootherFactory; 
senseManager.session.CreateImpl<PXCMSmoother> (out smootherFactory);/ 
// 创建 3D 平 滑 器 ， 采 用 平滑 参数 为 0.8 的 二 次 平滑 算法 
PXCMSmoother .Smoother3D smoother3D = smootherFactory.Create3DQuadratic (0.8f); 
// 先 初始 化 sense manager 
f (senseManager.Init() >= pxcmStatus.PXCM STATUS NO ERROR) { 
// 从 输入 设备 获取 数据 帧 
while (senseManager.AcquireFrame (true) >= pxcmStatus.PXCM STATUS NO ERROR) { 
// 获取 手 部 输出 数据 
handDataOutput.Update () ; 
f (nandDataOutput .QueryNumberOfHands() > 0) { 
// 获取 第 一 次 进入 FOV (index = 0) 的 手 部 数据 
PXCMHandData. IHand hand; 
handDataOutput .QueryHandData (PXCMHandData .AccessOrder. ACCESS ORDER BY TIME,O0,out hand); 
// 获取 指定 索引 的 手指 数据 
PXCMHandData.JointData jointData; 
f (hand.QueryTrackedJoint (PXCMHandData.JointType.JOINT INDEX TIP, out jointData) >= pxcmStatus.PXCM STATUS NO ERROR) { 
// 平滑 指定 索引 的 手指 3D 坐 标 数据 ， 输 出 格式 设 为 smoothedq3DPoint 
PXCMPoint3DF32 smoothed3DPoint = smoother3D.SmoothValue (jointData.positionWorld);/ 
// 使 用 smoothed3DPoint 数据 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/OEBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/te 


] 


} 
// 完成 当前 帧 的 处 理 
senseManager .ReleaseFrame (); 
} // end while 
} // end if Init 
// 清理 
smoother3D.Dispose () ; 
smootherFactory.Dispose () ; 
handDataOutput .Dispose (); 
senseManager.Dispose () ; 


H- 


H- 


H- 


14.2 ”旋转 实用 程序 


Rotation 类 是 一 个 实用 程序 ， 允 许 3D 空 间 点 的 不 同 旋转 表示 之 间 的 转换 。 四 元 数 、 旋 转 和 矩阵 、 欧 拉 角 和 角 - 轴 都 是 表示 3D 旋 转 的 方式 。SDK 没 有 统一 的 方法 来 处 理 旋转 。 


这 个 实用 工具 的 目的 是 便于 用 户 在 不 同 模块 使 用 的 旋转 系统 之 间 转 换 。 


1. 旋 转 表示 
以 下 是 Rotation 支持 的 表示 方式 。 
.Quatetnion: 用 4D 浮 点 数 向 量 Point4DF32 表 示 一 个 3D 旋 转 (w, x, у, Z) o 
· Rotation Matrix: ХЭБ ЖЖ, 
· Euler Angles: 用 3D 浮 点 数 向 量 表 示 绕 每 一 个 轴 的 旋转 角度 (pitch/yaw/roll)。 


. Angle+Axis: 绕 菜 轴 的 旋转 角度 (弧度 ) o 


2. 创 建 一 个 旋转 实例 


初始 化 一 个 旋转 实例 有 以 下 两 个 步骤 : 


1) 创建 Rotation 实 例 。 


2) 设置 输入 的 旋转 表示 。 根 据 输入 的 旋转 表示 ， 可 以 使 用 以 下 Rotation 方 法 。 


· SetFromQuaternion: 设置 输入 表示 为 给 定 的 四 元 数 。 


- SetFromRotationMatrix: ERMAR T AAZJE. 


: SetFromEulerAnges: 设置 输入 表示 为 给 定 的 欧 拉 角 。 


SetFromAngleAxis: 设置 输入 表示 为 给 定 的 角度 和 轴 。 


: SetFromSlerp: 初始 化 Rotation 实例 ， 并 设置 两 个 给 定 Rotation 实 例 的 sletp 和 sletp 因 子 。sletp 是 两 个 旋转 之 间 的 球形 线性 播 值 。sletp 因 子 表明 每 个 旋转 对 最 终结 


例 14-5 展 示 了 如 何 从 一 个 旋转 矩阵 创建 旋转 实例 。 


例 14-5 ”创建 一 个 旋转 实例 


C# 


// 创建 一 个 PXCsession 实 例 
PXCSession.CreateInstance () ; 
// 创建 一 个 PXCRotation 实 例 


PXCSession* session 


PXCRotation rotation; 
Session.Create 


// 依 3x3 旋转 矩阵 设置 旋转 实例 


N 


tationMatrix=new Single[ 


© 


Single[][] ro 
new Single [3] 


}; 


{1,0,0}, new Single [3] 


1[ 
{0, 


ImP1<PXCRotation> (out rotation); 


rotation.SetFromRotationMatrix (rotationMatrix); 


3. 使 用 旋转 程序 


使 用 以 下 方法 来 查询 Rotation 对 象 的 具体 表示 ， 或 者 执行 一 个 新 的 旋转 。 


| 
1,0}, new Single[3] {0,0,1} 


果 的 影响 程度 。 


: QueryQuaternion、 QueryRotationMatrix、 QueryEulerAngles 和 QueryAngleAxis 吕 数 用 指定 的 表达 方式 查询 当前 旋转 。 


:QueryRoll、QuetryPitch 和 QuetyYaw 函 数 根 据 ROLL PITCH_YAW 欧 拉 法 则 分 别 返 回 绕 X 轴 、Y 轴 、Z 轴 旋转 的 角度 。 


` Rotate 哆 数 相对 于 当前 旋转 执行 一 个 新 的 旋转 ， 即 接续 当前 旋转 和 给 定 的 旋转 。 


· RotateVectot 函 数 返 回 当前 旋转 的 给 定 旋 转向 量 。 


AngleAxis 是 一 个 结构 体 ， 通 过 基于 一 个 坐标 轴 和 绕 此 坐标 轴 的 角度 来 表示 旋转 。 


EulerOrder 列 举 了 提取 或 插入 欧 拉 角 的 顺序 。 这 个 顺序 很 重要 ， 例 如 ROLL_ PITCH_YAW!=ROLL YAW PITCH., 


的 输出 结果 。 


例 14-6 展 示 了 如 何 检索 不 同 的 表示 下 的 旋转 。 


例 14-6 在 不 同 的 表示 下 查询 旋转 


C# 


// 获取 当前 旋转 的 欧 拉 表示 


PXCMPoint3DF32 eulerAngles = rotation.Query] 


// 获取 当 


前 旋转 的 Angle+Axis 表示 
PXCMRotation.AngleAxis angleAxis 


例 14-7 展 示 了 带 有 手 部 模块 的 旋转 程序 示例 。 


例 14-7” 带 有 手 部 模块 的 旋转 程序 


C# 
// 初始 化 


FulerAngles (PXCMI 


rotation.QueryAngleAxis (); 


PXCMSenseManager senseManager = PXCMSession.CreateSenseManager (); 


手 部 模块 设置 


senseManager.EnableHand () ; 
PXCMHandModule handModule = senseManager.QueryHand () ; 


PXCMHandData handDataOutput = handModule.CreateOutput ( 
创建 PXCRotation 实例 
PXCMRotation rotation; 

senseManager.session.CreateImpl<PXCMRotation> (out ro 


) ; 


tation 


// 初始 化 sense manager 


H- 


f (senseManager->Init () 
// 从 输入 装置 获取 数据 帧 


while (senseManager .AcquireFrame ( 


>= pxcmStatus.PXCM STATUS NO ERROR 


/ 获取 当前 帧 手 部 模块 输出 


andDataOutpu 


XCMHandData. 


t .Update () ; 


IHand һа; 


xcms 


f (s 


са 
са 


tus s 
Cus. I 


tatus=handDataOu 
sSuccess 
PXCMHandDa 


/ 

h 

if (handDataOutput .QueryNumberOfHands () > 0) í 
Р с 

р 

sË 


hd.HasT 
ta ја; 


ful() && 
.JointDa 


са 


hd.QueryTrackedJoint (PXCMHan 


// 


rotation. 


// 
// 


} 


} 
// 结束 当前 帧 的 处 理 ， 


设置 旋转 朝向 手 部 中 心 
PXCMPoint4DF32 quaternion 
SetFromQua 
可 以 获取 当前 旋转 的 其 他 表示 
PXCMPoint3DF32 eulerAngles 
可 以 按 旋转 向 量 进行 旋转 

PXCMPoint3DF32 vec 
PXCMPoint3DF32 rotatedVec 


rackedJoints()) { 


dData.JointType.JO 


); 
) 


{ 


true) >= pxcmStatus.PXCM STATUS NO ERROR) { 


tput .QueryHandData (PXCMHandData .AccessOrder .ACCESS ORDI 


ER 


Rotation.EulerOrder.PITCH YAW ROLL); 


BY T 


在 QueryEulerAngles 和 SetFromEulerAngles 使 用 中 ， 采 用 不 同 的 欧 拉 顺 序 会 导致 不 同 


Е, 0,ocut hd); 


NT C 


ENT 


ER, out jd); 


jd.globalOrientation; 


ternion (quaternion); 


ИА 


rotation.QueryFu] 


erAngles (); 


为 下 一 帧 处 理 做 准备 


senseManager .ReleaseFrame (); 


} // end while acquire 


) // end if 
// 释放 资源 


rotation.Dispose (); 


[nit 


frame 


handDataOutput.Dispose () ; 


new PXCMPoint3DF32(1.f, 1. 


La 


4 


) 


rotation.RotateVector (vec) 


r 
ГА 


senseManager .Dispose (); 


143 ”点 转换 工具 


PointConverter 实 用 程序 将 一 个 2D 或 3D 空 间 的 点 转换 为 同样 维 数 但 是 数值 范围 不 同 的 点 。 例 如 ， 可 能 想 要 将 一 个 来 自传 感 器 图 像 的 2D 点 (宽度 是 640， 高 度 是 480) 转换 为 屏幕 上 的 一 个 点 (分辨 率 为 
1280x960) 。 另 一 个 例子 是 将 3D 世 界 的 指 尖 位 置 转换 到 3D 游 戏 引擎 的 坐标 系统 中 。 实 际 上 ， 这 个 程序 允许 移动 、 拉 伸 或 收缩 一 个 坐标 系统 ， 以 便于 和 其 他 坐标 系统 相对 应 。 


可 以 使 用 以 下 两 个 点 转换 的 接口 。 
: PointConvettetFactoty: 用 于 创建 特定 点 的 转换 实例 。 
· PointConvettet: 代表 一 个 独立 转换 实例 ， 用 于 每 一 帧 设置 和 执行 转换 。 


可 以 创建 一 个 点 转换 器 ， 专 门 用 于 手 部 模块 的 极端 点 、 手 部 模块 的 关节 位 置 、Blob 模 块 的 未 端点， 或 者 创建 一 个 通用 点 转换 器 。 点 转换 器 可 以 针对 前 3 个 相关 模块 的 数据 设计 ， 一 旦 跟踪 数据 可 用 转换 
则 自动 执行 。 最 后 一 个 是 通用 工具 ， 可 用 于 任何 输入 的 点 。 


1. 建 立 一 个 点 转换 器 

建立 一 个 点 转换 器 实例 有 以 下 3 步 : 

1) 创建 PointConverterFactory 实 例 。 

2) 创建 特定 Pointconverter 实 例 。 

3) 设置 源 和 目标 细节 。 

在 第 二 步 ， 使 用 PointConverterFactory 接 口 函 数 来 创建 点 转换 器 实例 。 

1) CreateHandJointConverter (handData, accessOrder, index, jointType) 
根据 指定 手 关 节 的 位 置 和 以 下 参数 创建 一 个 点 转换 器 实例 。 

· handData: 指定 手 模块 数据 实例 。 需 要 在 获取 转换 的 点 数据 之 前 更 新 输出 数据 。 

` accessOrder: 指定 手 的 列举 顺序 。 

' index: 指定 要 检索 的 手 ， 按 accessOrder 指 定 的 列举 顺序 。 

' јоіпеТуре: 定义 要 被 转换 的 手 关节 。 

2) CreateHandExtremityConverter (handData, accessOrder, index, extremityType) 
根据 指定 的 手 部 端点 和 下 列 参数 创建 一 个 点 转换 器 。 

· handData: 指定 手 模块 数据 实例 。 需 要 在 获取 转换 的 点 数据 之 前 更 新 输出 数据 。 

` accessOrder: 指定 手 的 列举 顺序 。 

' index: 指定 要 检索 的 手 ， 按 accessOrder 指 定 的 列举 顺序 。 

extremityType: 定义 要 被 转换 的 手 部 端点 。 

3) CreateBlobPointConverter (blobData, accessOrder, index, extremityType) 
创建 一 个 点 转换 器 ， 根 据 指定 Blob 的 端点 和 下 列 参数 。 

· BlobData: 指定 Blob 模 块 数据 实例 。 需 要 在 获取 转换 的 点 数据 之 前 更 新 输出 数据 。 

` accessOrder: 指定 Blob 列 举 顺 序 。 

' index: 指定 要 检索 的 Blob， 按 accessOrder 指 定 的 列举 顺序 。 

* extremityType: 定义 要 被 转换 Blob 的 端点 。 

4) CreateCustomPointConverter() 

创建 一 个 通用 点 转换 器 。 在 获取 转换 的 点 数据 之 前 用 Set2DPoint 或 Set3DPoint 设 置 点 数据 。 
例 14-8 展 示 了 如 何 初始 化 PointConverter 实 例 用 于 手 模块 的 输出 。 


例 14-8 初始 化 一 个 用 于 手 模块 的 点 转换 器 


C# 

// 手 部 模块 设置 

PXCMSenseManager senseManager = PXCMSenseManager .CreateInstance (); 
senseManager .EnableHand (); 

PXCMHandModule handModule = senseManager .QueryHana () ; 

PXCMHandData handDataOutput = handModule.CreateOutput () ; 

// 创建 一 个 PXCPointConverterFactory 实例 

PXCMPointConverterFactory pointConverter; 

senseManager. session.Create!] [mp1<PXCMPointConverterFactory> (out pointConverter); 
// 对 第 一 个 检测 到 的 手 部 手腕 创建 一 个 点 转换 器 

PXCMPointConverter 
converter=pointConverter.CreateHandJointConverter (handDataOutput, 
PXCMHandData.AccessOrder.ACCESS ORDER BY TIME, O, 
PXCMHandData.JointType.JO NT WRIST); 


2.Converting 2D Points 转 换 2D 点 
为 转换 2D 点 ， 需 定义 源 和 定义 转换 的 目标 区 域 ， 如 图 14-2 所 示 。 区 域 为 长 方形 ， 并 由 一 个 RectF32 结 构 确定 细节 。 输 入 点 被 线性 地 从 源 长 方形 转换 到 目标 长 方形 的 相应 位 置 。 
不 需要 映射 整个 源 图 像 区 域 ， 用 一 个 小 的 矩形 就 可 允许 屏幕 上 的 大 动作 。 
如 果 要 转换 的 点 在 源 长 方形 外 ， 转 换 的 输出 将 被 设置 为 目标 长 方形 的 左上 角 点 。 


例 14-9 将 深度 图 像 坐标 系 映射 为 屏幕 坐标 系 (1280，960) 。 


Original Image 640 
Li Gü ———————————. 
540 


Target Image 1280 
&— 


(0,0) 


(100, 100) 


960 


380< | Source Rectangle 


(640, 480) (1280, 960) 


图 14-2 ”转换 2D 点 图 例 


例 14-9 ”转换 2D 点 


C# 

// АЖА EJ 2| NRA EJ 
PXCMRectF32 sourceRect2D = new PXCMRectF32(0,0,640£f,480f); 
converter.Set2DSourceRectangle (sourceRect2D) ; 

// 设置 目标 为 全 屏幕 尺寸 (分辨 率 为 1280x960) 
PXCMRectF32 targetRect2D new PXCMRectF32 (0,0,1280f,960f); 
converter .Set2DTargetRectangle (LargetRect2D) ; 


3. 转 换 3D 点 
需要 为 定义 转换 指定 源 和 目标 卷 。 卷 均 为 矩形 框 ， 由 一 个 Box3DF32 结 构 定义 。 输 入 点 被 线性 地 从 源 框 映射 到 目标 框 的 相应 位 置 。 


可 以 动态 地 设置 源 (和 目标 ) 范围 ， 这 可 应 用 于 需要 使 当前 工作 区 域 适 应 于 用 户 首选 区 域 的 情况 (例如 过 去 几 帧 的 手 平均 位 置 ) 。 
如 果 要 转化 的 点 在 源 边界 框 定义 的 区 域 之 外 ， 转 换 输出 将 会 设置 为 目标 边界 框 的 中 心 偏 置 点 。 


例 14-10 把 一 个 3D 世 界 坐 标 框 映射 到 用 户 定 义 的 范围 [0-1] 的 目标 框 。 源 框 位 于 用 户 右 手 的 自然 体位 : 距 摄 像 头 中 心 右 方 15 厘 米 ， 距 摄像 头 中 心 下 方 5 厘米 ， 距 离 摄像 头 30 厘 米 。 框 的 大 小 是 每 个 方向 20 
厘米 。 


例 14-10 ”转换 3D 点 


C# 

// 设置 源 框 

PXCMBox3DF32 sourceBox3D = new РХСМВохЗОЕЗ2(); 
sourceBox3D.centerOffset=new PXCMPoint3DF32 (15f,-5f,30f); 
sourceBox3D.dimension=new PXCMPoint3DF32 (20f,20f,20f); 
converter .SsSet3DSourceBox (sourceBox3D) ; 

// 设置 目标 框 

PXCMBox3DF32 targetBox3D = new РХСМВохЗрЕЗ2 () ; 
targetBox3D.centerOffset=new PXCMPoint3DF32 (0,0 
targetBox3D.dimension=new РХСМРоіпіЗрЕЗ2 (1f,1f, 
converter.Set3DTargetBox (LargetBox3D) ; 


— 


r0)? 
1f); 


4. 用 点 转换 器 使 坐标 轴 反 转 
点 坐标 转换 器 还 允许 可 选 地 使 5、Y、2Z 轴 中 的 任意 坐标 轴 反 转 ， 如 例 14-11 所 示 。 
{1114-11 反 转 Y 坐 标 轴 


C# 
// 在 3D 坐 标 空间 中 反 转 y #h 


Converter.Invert3DAxis(false,true,false); 


5. 基 于 模块 的 点 转换 器 


为 在 一 个 模块 的 输出 使 用 点 转换 器 ， 需 要 先 确 保 模块 的 输出 是 最 新 的 ， 然 后 查询 转换 点 的 位 置 。 例 14-12 展 示 了 基于 手 模块 的 点 转换 器 中 每 一 帧 要 被 调用 的 程序 代码 。 类 似 的 代码 可 以 用 于 Blob 模 块 的 


{1114-12 检索 转换 的 数据 之 前 需要 更 新 模块 数据 


C# 

// 确保 手 部 输出 的 更 新 

handDataOutput.Update () ; 

// 获取 转换 的 数据 点 

PXCPoint3DF32 point = converter .GetConverted3DPoint (); 


6. 自 定义 点 转换 器 


使 用 自 定 义 点 转换 器 ， 需 要 先 设置 位 置 ， 然 后 获取 转换 的 位 置 ， 如 例 14-13 所 示 。 


例 14-13 ”使 用 自 定义 转换 器 


C# 


// 获取 待 转换 的 输入 点 


PXCPoin 


t3DF32 inputPoint = …: 


Converter.Set3DPoint (inputPoint); 


// 获取 转换 输出 点 


PXCPoin 


7. 完 整 代码 示例 


上 3DF32 convertedPoint = converter .GetConverted3DPoint (); 


例 14-14 使 用 PointConverter 接 口 及 手 模块 来 将 食指 指 尖 位 置 数据 转换 到 游戏 坐标 系统 的 一 个 3D 框 。 


例 14-14 ”转换 3D 点 


C# 


// 初始 化 


PXCMSenseManager senseManager 
手 部 模块 设置 


senseManager. 


// 


EnableHand (); 


PXCMSenseManager. CreateInstance () ; 


PXCMHandModule handModule = senseManager.QueryHand () ; 


PXCMHandData handDataOutp 
创建 PXCPointConverter 
PXCMPointConverterFactory 
senseManager.session.Creat 
个 进入 FOV 的 指定 JO 


对 第 一 


实例 


poin 
eT 


ut = handModule 


FX 工 


NT 


ND P 的 


PXCMPointConverter handPointConverter; 


handPointConver 


ter = poin 


.CreateOutput () ; 


tConverterFactory; 
mpl<PXCMPointConverterFactory> (out pointConverterFactory); 


手 部 创建 点 转换 器 


tConverterFactory->CreateHandPointConverter (handDataOutput, 


// 设 定 源 框 

PXCMBox3DF32 sourceBox3D = new PXCMBox3DF'32 () ; 
sourceBox3D.centerOffset=new PXCMPoint3DF32(0,0,0); 
sourceBox3D.dimension=new PXCMPoint3DF32 (60#, 60f,60f); 
handPointConverter.Set3DSourceBox (sourceBox3D) ; 

// 设 定 目 标 框 

PXCMBox3DF32 targetBox3D = new РХСМВохЗрЕЗ2 () ; 
targetBox3D.centerOffset=new PXCMPoint3DF32 (0,0,0); 
targetBox3D.dimension=new РХСМРоіпіЗрЕЗ2 (1#,1#,1Ғ#); 


Һапар 


оіпЕСопуег 


ter.Set3DTarget] 


Box (tLarget] 


Box3D) 


// 初始 化 sense manager 


Lf 


(senseManager. ] 


// 从 输入 设备 获取 数据 由 


whil 
// 
һа 
TE 


[nit () >= pxcmStatus.PXCM STATUS NO ERROR) { 


获取 当前 帧 的 手 部 输出 


ndDataOu 


tput .Update (); 


le (senseManager.AcquireFrame (true) >= pxcmStatus.PXCM STATUS NO ! 


(handDataOutput .QueryNumberOfHands 
PXCMPoint3DF32 converted3dPoint = handPointConverter.GetConver 


// 对 转换 


的 点 进行 处 理 


() > O) { 


PXCMHandData.AccessOrder .ACC] 


ERROR) { 


ted-3DPoint () ; 


http://www.hzcourse .com/resource/readBook?path=/openresources/t 


} 
// 为 下 一 帧 数据 处 理 做 准备 


зепѕеМападег.Ке1еаѕеЕгапе () ; 


} // end while acquire 


) // 


[ni 


end 1 


// 释 放 存 储 空间 
handPointConverter.Dispose () ; 
pointConverterFactory.Dispose (); 
handDataOutput .Dispose (); 
senseManager .Dispose () ; 


SDK 提 供 了 可 集成 到 Unity 动 画 设计 的 接口 模块 。 本 章 将 主要 介绍 Unity 工 具 集 ， 包 括 动作 、 


12.1 


frame 


Unity 工 具 集 概述 
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第 15 章 ”Unity 工 具 集 


寺 续 动作 、 触 发 器 、 预 制 件 等 。 


ESS ORDER 


BY 工 


E, 0, PXCMHandData.JointType.JO 


SDK Unity 工 具 集 是 一 个 由 脚本 、 预 制 件 和 其 他 工具 组 成 的 套件 ， 旨 在 帮助 用 户 利用 Intel RealSense 技 术 更 好 地 创建 交互 式 的 Unity 应 用 。 


NT 


NDE 
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Unity 工 具 集 是 Unity Editor 的 扩展 。 许 多 基本 和 高 级 功能 都 直接 通过 Unity Editor 的 用 户 接 口 实现 。 使 用 该 工具 集 ， 游 戏 开 发 者 和 设计 者 能 够 通过 编写 少量 的 代码 来 添加 交互 操作 。 高 级 开发 者 也 能 
在 SDK 参 考 手册 中 查看 SDK Unity C# 脚 本 支持 。 如 图 15-1 所 示 ，SDK Unity Toolkit 和 SDK Unity C# 两 层 彼此 相互 补充 ， 以 实现 Unity 应 用 。 


Unity Application 


SDK Unity Toolkit 


SDK Unity C# 


SDK Runtime 


图 15-1 SDK Unity 支 持 层级 
当 需 要 将 诸如 手 部 跟踪 或 者 姿态 检测 等 5DK 特 征 加 入 一 个 游戏 应 用 上 时 ， 只 需要 将 提供 的 动作 脚本 (例如 跟踪 动作 或 者 旋转 动作 ) 附加 到 场景 中 的 一 个 游戏 物体 上 即 可 。 


Unity 工 具 集 要 求 Unity v4.1.0 PRO (使 用 了 Unity 的 插件 功能 ) 或 者 更 高 的 版 本 。 从 Unity v4.6.3 p1 开 始 ， 也 可 以 使 用 个 人 版 本 。 


15.2 动作 


动作 是 一 个 Unity MonoBehaviour 类 。 动 作 使 用 各 种 触发 条 件 来 配置 具体 的 交互 动作 。 主 要 有 4 种 类 型 的 动作 。 
1. 预 定义 的 触发 动 作 
这 类 动作 触发 条 件 是 预定 义 的 ， 只 能 配置 与 触发 条 件 相 关 的 规则 。 这 一 类 动作 中 ， 其 交互 动作 仪 与 某 些 触 发 条 件 有 关 ， 比 如 旋转 动作 或 者 跟踪 动作 。 
2. 定 制 的 触发 条 件 动作 
这 类 动作 的 触发 条 件 是 可 变 的 。 可 以 添加 或 移 除 动 作 的 触发 条 件 ， 例 如 隐藏 动作 或 者 启用 动作 。 
3. 持 续 动 作 
实现 这 类 动作 需要 使 用 连续 的 数据 参数 。 例 如 ， 实 现 跟踪 动作 需要 使 用 连续 的 被 跟踪 物体 的 位 置 参 数 。 
4. 一 次 性 动作 
实现 这 类 动作 不 需要 使 用 连续 的 数据 参数 。 例 如 ， 无 论 何 时 触发 条 件 被 触及， 隐藏 动作 会 关 掉 关 联 游戏 物体 的 显示 功能 。 
5. 动 作用 户 接口 


在 Unity 查 看 器 中 ， 所 有 的 动作 都 有 相似 的 菜单 ， 如 图 15-2 所 示 。 


6. 触 友 条 件 和 规则 配置 

可 以 指定 和 某 个 动作 有 关 的 触发 条 件 。 对 于 每 个 触 友 条 件 ， 可 以 添加 、 移 除 或 者 配置 规则 。 每 条 规则 都 有 基于 其 所 实现 算法 具体 的 配置 参数 。 例 如 ， 手 势 检 测 规则 能 够 设置 检测 哪 一 种 手势 。 
7. 动 作 参 数 

在 动作 用 户 接口 中 ， 可 以 执行 下 列 操作 : 

1) 列举 。 列 举 和 一 个 具体 的 触发 条 件 相 关 的 所 有 规则 。 单 击 触发 条 件 名 称 前 的 矩形 框 可 以 实现 这 一 点 。 在 图 15-2 中 ， 跟 踪 动 作 可 以 设置 平滑 因子 参数 。 


2) 添加 。 为 触发 条 件 添加 一 条 规则 。 为 了 做 到 这 一 点 ， 可 以 单 击 “ 添 加 ”按钮 来 获取 规则 列表 ( 见 图 15-3) ， 并 单 击 所 需 的 规则 名 。 


Y AS V Tracking Action (Script) w s, 
Script ПЭ TrackingAction © 


Y Start Event [Add < 


V Ф Напа Detected 
в Tracking Source 
* Stop Event 


Smoothing Factor 
»*Constraints 
PInvert Transform 
> Virtual World Box Center 
> Virtual World Box Dimensions 
Effect Physics = 


8152 Ж 


Y BS Q Tracking Action (Script) 
Script TrackingAction 
Start Event 99 = 


V Ж к Gesture Detected 
7 # Hand Detected 
' Tracking SOUrce 


Р Stop Event 


smoothing Factor 

> Constraints 

invert Transform 

- Virtual World Box Center 

* Virtual World Box Dimensions 
Effect Physics 


图 15-3 ”添加 规则 按钮 


如 果 某 个 触发 条 件 有 多 条 规则 ， 那 么 这 些 规 则 间 会 以 或 操作 符 的 关系 顺序 运行 。 这 意味 着 如 果 这 些 规 则 之 一 被 触发 ， 那 么 整个 触发 条 件 就 算 被 触 友 。 例 如 ， 在 图 15-3 中 ， 如 果 一 个 手势 被 检测 到 了 ， 那 
么 手 部 检测 规则 就 会 被 忽略 。 


3) 跳 过 某 条 规则 。 为 了 实现 这 一 点 ， 只 需要 取消 该 条 规则 的 复 选 框 ( 见 图 15-4) 。 在 执行 过 程 中 ， 这 条 规则 会 被 跳 过 。 


Д) 获取 某 条 规则 具体 的 配置 参数 。 为 了 做 到 这 一 点 ， 需 要 单 击 规则 前 的 矩形 框 。 每 条 规则 都 有 具体 的 参数 ， 这 些 参数 能 够 根据 其 所 实现 的 具体 算法 而 改变 ， 如 图 15-5 所 示 。 


Y RS Я Tracking Action (Script) 

Script AS TrackingAction 
Y Start Event [Add =) 

=. Ë bGesture Detected 

V y »Hand Detected 
в Tracking Source 


* Stop Event 


smoothing Factor 

b. Constramts 

»Invert Transform 

> Virtual World Box Center 

> Virtual World Box Dimensions 
Effect Physics 


图 15-4 ”取消 规则 
Y RS V Tracking Action (Script) 
Script | RS TrackingAction 
Y Start Event Mdd a) 


V 和 W Gesture Detected 


Gesture Tap 
Which Hand ACCESS ORDER NEAR ТО • 
V А »Hand Detected 


b Tracking Source 


Stop Event 


smoothing Factor 

p Constraints 

в Invert Transform 

> Virtual World Box Center 

> Virtual World Box Dimensions 
Effect Physics 


图 15-5 “规则 参数 


5) 移 除 或 者 重 置 一 条 规则 /触发 条 件 。 右 击 规则 /触发 条 件 的 名 字 并 且 从 快捷 菜单 中 选择 对 应 的 动作 ， 如 图 15-6 所 示 。 重 置 规则 /触发 条 件 将 会 使 其 参数 返回 默认 值 。 


HS V Tracking Action (Script) 
Script TrackingAction 
Start Event | Add = 


k. i 


Remove ER_NEAR_TO $ 


Hand Detected 


图 15-6” 移 除 或 重 置 快捷 菜单 


15.3 ”持续 动作 


寺 续 动作 描述 了 多 个 动作 的 过 程 。 工 具 集 提供 了 3 个 状态 来 定制 这 样 一 个 过 程 ， 如 图 15-7 所 示 。 
1. 开 始 事件 〈 事 件 触发 条 件 ) 

开始 触发 条 件 定 义 了 一 个 交互 事件 。 事 件 可 以 是 手 部 的 检测 或 者 姿势 的 检测 。 可 以 选择 任何 一 个 事件 触发 条 件 作为 开始 事件 ， 如 图 15-8 所 示 。 
2. 过 程 触发 条 件 

过 程 触发 条 件 定 义 了 交互 过 程 。 触 发 条 件 的 类 型 随 着 不 同 的 触发 条 件 实现 而 变化 。 例 如 ，Tracking Action 是 一 个 跟踪 触发 条 件 ， 可 以 设置 具体 跟踪 哪个 物体 。 
3. 停 止 事 件 (事件 触发 条 件 ) 


停止 事件 定义 了 持续 动作 的 停止 条 件 。 例 如 ， 停 止 事件 可 以 是 手势 的 丢失 。 


Start Event -IfX | 
happened than start- 


Process - Track 
Hand 


8157 三 状态 定制 过 程 


HS V Tracking Action (Script) 
Script HSTrackingAction 


Start Event Add = 


= 


V y P'Hand Detected 

Tracking Source Add < 

vw PHand Tracking 
r Stop Event Add = 


TY »Hand Lost 


图 15-8 ”开始 事件 选择 


触发 条 件 定 义 了 用 户 交 互 。 触 发 条 件 保 存 了 有 关 交 互 的 数据 。 在 某 些 动作 中 ， 触 友 条 件 已 经 被 预先 设置 好 ， 只 能 设置 关联 到 每 个 触发 条 件 上 的 规则 。 对 于 旋转 动作 或 者 跟踪 动作 来 说 ， 其 交互 与 一 个 特 
定 的 触 友 条 件 密切 绑 定 。 在 其 他 动作 中 ， 可 以 为 动作 添加 或 者 移 除 触 友 条 件 ， 比 如 隐藏 动作 或 者 启用 行为 动作 这 类 更 一 般 的 动作 。 


规则 是 实现 了 某 些 Unity 事 件 、 动 作 和 数据 类 型 的 SDK 代 码 。 可 以 在 一 个 或 多 个 触发 条 件 中 使 用 规则 。 当 一 条 规则 是 某 个 触发 条 件 的 一 部 分 时 ， 这 条 规则 和 其 配置 信息 参数 将 会 显示 在 Unity Editor 的 UI 
界面 中 特定 的 触发 条 件 之 下 。 


当 为 某 个 触发 条 件 添 加 多 条 规则 时 ， 规 则 将 会 以 “或 ”的 关系 被 使 用 。 这 意味 着 ， 如 果 某 条 规则 被 触发 ， 触 发 条 件 将 会 被 置 为 这 条 规则 的 相关 值 。 在 Unity Editor 的 UI 界面 中 ， 这 些 规则 将 会 按照 优先 
级 的 顺序 来 显示 。 假 设 一 个 触发 条 件 由 面部 检测 和 手势 检测 规则 组 成 ， 当 面部 被 检测 到 时 ， 触 发 条 件 将 会 被 置 为 面部 检测 的 相关 值 ， 并 且 手 势 检测 规则 将 会 被 忽略 ， 如 图 15-19 所 示 。 


Y Event Source Ma a 
í © асе Detected 
F і Секиге Detected 


15-19 ”规则 和 规则 顺序 


预制 件 是 为 了 便利 设计 而 提供 的 。 


预制 件 位 于 $(RSSDK_DIR)/framework/Unity/RSUnityToolkit/Prefabs 路 径 下 。 


1.178) 


调试 查看 器 预制 件 是 为 了 调试 目的 而 提供 。 它 会 将 面部 、 手 部 和 检测 物体 的 指标 打印 到 Unity 日 志 ， 如 图 15-24 所 示 。 


Face Detected: 
Object Detected: 


Ax REALSENSE ОВС | 5:17:41 PM | Gesture Detected Rule Fired : Grab 
UnityEngine.Debug:Log(Object) 


图 15-24 调试 查看 器 界面 


点 云 网 格 提供 镜头 深度 数据 作为 3D 网 格 ， 如 图 15-25 所 示 。 

可 以 在 3D 网 格 上 设置 不 同 的 材料 。 如 果 使 用 UV Map 被 检测 到 ， 那 么 RGB 数据 将 会 被 画 在 被 选择 的 材料 上 。 

开发 者 可 以 勾 选 Remove Back Triangles 选 项 ， 这 样 可 以 移 除 在 深度 数值 上 比 Max Depth Value 字段 中 的 值 更 大 的 饱和 点 。 
4 .感知 增强 现实 


感知 增强 现实 预制 件 是 为 了 增强 现实 的 目的 而 提供 的 。 它 由 两 个 摄像 头 组 成 一 一 主要 和 现实 。 现 实 摄 像 头 提供 彩色 图 像 流 。 但 是 主要 摄像 头 的 Z 值 更 大 ， 因 此 会 在 彩色 图 像 流 上 显示 Unity 物 体 。 


图 15-25 ”点 云 网 格 应 用 界面 


感知 管理 器 预制 件 是 一 个 工具 集 管理 器 。 只 要 任意 动作 被 使 用 ， 预 制 件 就 会 被 添加 到 场景 中 。 通 过 设置 运行 模式 ， 预 制 件 提供 实时 流 媒体 、 录 像 和 回放 模式 等 模式 。 对 于 录像 和 回放 字段 ， 开 发 者 必须 
设置 文件 路 径 字 段 。 
15.6 ”Unity 工 具 应 用 举例 


示例 1 转换 


这 个 示例 演示 了 如 何 使 用 转换 动作 来 移动 一 个 游戏 物体 (如 图 15-26 中 球体 ) ， 以 及 当 动 作 被 检测 到 时 ， 怎 样 使 用 启用 行为 动作 和 禁用 行为 动作 来 点 亮 球 体 。 


Hold your hand up and close it (make a fist) in order to control the yellow sphere. 


Try to trip all the blue boxes. 


图 15-26 ”转换 动作 示例 


说 明 为 控制 黄 球 ， 请 举 起 手 并 提成 举 。 尝 试 击 倒 所 有 蓝 色 的 盒子 。 


示例 2 ”旋转 和 缩放 


该 示例 演示 了 如 何 使 用 旋转 动作 和 缩放 动作 来 旋转 以 及 缩放 游戏 物体 (如 图 15-27 中 立方 体 ) 。 


Б ир and close them (make a fist) 


Мой your hands apart and toward to each other to change the scale of thain 
Rotate your паб іп a wheel motion to roate the red сире around the Z axis. 
> | 


15-27 旋转 和 缩放 动作 示例 


说 明 举 起 两 只 手 并 提成 拜 。 分 开 双 手 来 改变 红色 立方 体 的 比例 。 以 车 轮 运动 方式 旋转 双手 来 控制 红色 立方 体 围绕 红色 立方 体 旋转 。 


示例 3 ”增强 现实 镜子 


该 示例 演示 了 怎样 使 用 感知 增强 现实 预制 件 来 创建 并 增强 现实 场景 ， 如 图 15-28 所 示 。 


Move your face around to see the mask moving with your face. 
Hold up your hand to see the hand and finger tracking 


图 15-28 增强 现实 镜子 示例 
说 明 移动 面部 ， 可 以 看 到 面具 随 着 脸 一 起 移动 。 举 起 双手 ， 从 而 看 到 手 部 和 手指 在 被 跟踪 。 
示例 4 ”躲避 球 


该 示例 演示 了 如 何 通过 旋转 动作 以 及 固定 某 个 坐标 轴 来 创建 一 个 迷你 游戏 ， 如 图 15-29 所 示 。 


Use both hands to rotate the base. Try to enter all the balls to the center 


图 15-29 ”躲避 球 示 例 


说 明 使 用 双手 来 旋转 底部 ， 尽 量 使 所 有 的 球 进 入 中 心 。 举 起 双手 开始 游戏 ， 停 止 双手 动作 从 而 暂停 。 


示例 5 ”发 送信 息 机 制 


该 示例 演示 了 如 何 使 用 发 送信 息 动作 来 发 送 跟踪 数据 到 另外 一 个 MonoBehavior 脚 本 。 通 过 在 发 送信 息 动作 上 指定 函数 名 称 ， 该 函数 将 会 在 脚本 中 被 调用 ， 如 图 15-30 所 示 。 


Got Position Data = (0.6, 0.5, 0.3) 


Got Rotation Data = (-0.1, -0.2, 0.1, 1.0) 


Hold your hand up and move it 


You can see the Send Message Action sends the data another script 
This script displays the data on the screen. 


图 15-30 发 送信 息 机 制 示例 


WA 举 起 手 并 移动 。 可 以 看 到 发 送信 息 动作 ， 脚 本 会 在 屏幕 上 显示 发 送 的 数据 。 


示例 6 ках 


该 示例 演示 了 如 何 使 用 点 云 网 格 预 制 件 从 深度 数据 中 动态 地 创建 一 个 网 格 ， 如 图 15-31 所 示 。 


图 15-31 AATA 


示例 7 ”物体 跟踪 


这 个 实例 展示 了 如 何 使 用 物体 跟踪 ， 如 图 15-32 所 示 。 可 以 通过 改变 Tracker 2D Path 变 量 值 来 指定 不 同 的 跟踪 目标 (图 像 ) 。 


图 15-32 ”物体 跟踪 示例 


%16% Intel RealSense 3D 摄 像 头 应 用 举例 


SDK 丰 富 而 强大 的 功能 使 得 应 用 可 以 更 加 自然 地 完成 人 机 交互 ， 其 应 用 领域 非常 广泛 。 本 章 将 抛砖引玉 ， 介 绍 SDK 在 机 器 人 、 虚 拟 教学 、 增 强 现实 3 个 方面 的 应 用 案例 ， 期 望 有 更 多 更 酷 更 炫 的 应 用 被 设 
计 出 来 。 


16.1 智能 龙 物 机 器 人 


1. 项 目 目标 


英特尔 感知 计算 技术 以 自然 、 直 观 、 身 临 其 境 的 方式 重新 定义 用 户 的 计算 体验 ， 重 塑 人 机 互动 的 未 来 图 景 。 如 今 非 接触 式 手势 控制 已 正成 为 现实 ， 用 户 只 要 挥舞 手 壁 即 可 完成 指令 下 达 。 而 从 更 长 远 的 
发 展 愿景 看 ， 感 知 计算 将 通过 视觉 、 听 党 、 触 党、 语音 ， 甚 至 感情 和 情境 等 多 重 感 官方 式 ， 让 计算 设备 能 感知 人 类 的 意图 ， 从 而 实现 人 与 设备 间 更 为 自然 的 交互 ， 重 塑 计算 体验 。 一 个 感知 计算 的 时 代 即 将 
来 临 。 


本 项 目 举 试 将 感知 计算 这 一 热门 技术 应 用 到 机 器 人 这 一 领域 。 以 感知 计算 技术 为 基础 ， 以 Android 平 台 和 Arduino 小 车 作为 扩展 设备 和 载体 ， 充 分 发 挥 感知 计算 技术 的 先进 特性 和 安 卓 平台 的 易 用 性 ， 实 
现 一 个 可 以 与 使 用 者 进行 感知 互动 的 智能 宠物 机 器 人 。 借 助 于 感知 计算 技术 ， 宠 物 机 器 人 可 以 感 甸 人 的 手势 、 表 情 和 语音 。 借 助 于 安 卓 平台 ， 宠 物 机 器 人 也 能 通过 表情 和 语音 表达 自己 的 情感 。 借 助 于 
Arduino 小 车 提供 的 移动 性 ， 宠 物 机 器 人 甚至 可 以 在 主人 的 指导 下 跳舞 。 


本 项 目 所 有 这 些 特性 将 会 总 来 全 新 的 体验 。 相 比 市 面 上 比较 成 熟 的 电子 宠物 ， 本 项 目 机 器 人 特有 的 视觉 特 性 提供 了 更 生动 、 更 有 趣 的 交互 方式 。 伴 随 着 感知 计算 技术 的 不 断 成 熟 ， 宠 物 机 器 人 也 将 会 有 
很 大 的 扩展 空间 ， 提 供 不 断 更 新 的 交互 方式 和 玩法 ， 给 用 户 带 来 不 断 升 级 和 完善 的 体验 。 


2. 宠 物 机 器 人 功能 


宠物 机 器 人 的 功能 包含 以 下 几 个 方面 。 


1) 手势 识别 : 当 用 户 对 着 宠物 机 器 人 做 特定 手势 时 ， 宠 物 机 器 人 会 有 相应 动作 。 例 如 ， 用 户 的 手 在 空中 向 左 挥舞 ， 宠 物 机 器 人 会 向 相同 的 方向 转 。 特 定 的 一 个 手势 可 以 激活 跳舞 的 功能 ， 激 活 之 后 ， 用 
户 做 一 组 手势 ， 并 以 特定 手势 结束 。 之 后 宠物 机 器 人 便 会 做 一 套 对 应 的 动作 。 


2) 面部 跟踪 : 机 器 人 可 以 跟踪 用 户 面部 ， 甚 至 用 户 的 表情 。 如 果 用 户 通过 手机 说 一 名 “过 来 ! ”， 宠 物 机 器 人 便 会 走 到 用 户 面前 停 下 。 
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3) IRR: 宠物 机 器 人 可 以 识别 特定 的 几 种 食物 。 识 别 完 之 后 即 表明 喂食 成 功 ， 会 有 相应 表情 和 动作 。 


4) 属性 值 : 宠物 机 器 人 具有 两 个 属性 。 一 个 是 心情 值 ， 一 个 是 健康 值 。 心 情 值 会 因为 较 高 的 健康 值 而 上 升 ， 同 时 也 会 因为 饥 钱 ( 低 健康 值 ) 而 不 断 下 降 。 一 些 积极 的 表情 或 动作 如 笑 的 表情 会 提高 心情 
反之 会 减少 。 健 康 值 会 随时 间 流 挝 不 断 减 少 直 至 为 0%， 这 时 宠物 机 器 人 会 “ 死 ” 掉 ， 并 有 相应 动作 ， 用 户 可 以 “喂食 ”给 机 器 人 来 提高 健康 值 。 


3. 宠 物 机 器 人 的 总 体 框 架设 计 


HS, 


(1) 软件 设计 
宠物 机 器 人 的 软件 部 分 由 以 下 3 部 分 组 成 : 摄像 头 及 视觉 处 理 程序 ， 简 称 视 觉 端 ; Baytrail 开 发 板 、Arduino 小 车 和 服务 器 程序 ; 安 卓 平台 及 安 卓 客户 端 程序 。 
各 部 分 之 间 通 过 socket 通 信 连 接 : 


1) 3D 摄 像 头 根据 服务 器 发 送 的 命令 确定 当前 的 检测 模块 (物体 识别 、 人 脸 识别 、 手 势 识别 ) ， 检 测 用 户 的 手势 和 表情 、 人 脸 的 位 置 以 及 特定 物品 ， 根 据 检测 结果 由 视觉 处 理 程序 向 服务 器 发 送 不 同 的 
以 控制 小 车 的 运动 和 安 卓 平台 端的 反馈 (宠物 机 器 人 表情 动画 、 语 音 ) 。 


2) 安 卓 客户 端 程序 接收 服务 器 的 指令 完成 相应 反馈 ， 或 者 通过 对 用 户 语音 的 识别 选择 功能 ， 告 知 视觉 端 当前 需要 的 检测 模块 。 

3) 服务 器 程序 协助 以 上 任务 的 执行 ， 并 根据 视觉 端 发 送 的 命令 来 控制 Arduino 小 车 的 运动 。 

(2) 硬件 总 体 设计 

硬件 的 总 体 结构 如 图 16-1 所 示 。 

其 中 各 硬件 模块 介绍 如 下 。 

1) Intel RealSense 3D 摄 像 头 : 作为 系统 的 视觉 输入 设备 。 配 套 的 Intel RealSense SDK 提 供 一 系列 物体 识别 、 手 势 识别 、 面 部 跟踪 等 视觉 模块 。 
2) BayTrail 开 发 板 : X86 平台 ， 配 置 为 Intel Atom E38252 Core@1.33Ghz, 4GB RAM， 装 载 Windows 8.1 系 统 ， 为 3D 报 像 头 提供 软件 环境 。 
3) 安 卓 平台 (手机 ) : 作为 宠物 机 器 人 表情 和 语音 的 输出 ， 以 及 对 用 户 语音 识别 的 设备 。 搭 好 的 硬件 上 有 一 个 吸盘 和 支架 ， 方 便 手 机 放 上 和 取 下 。 
4) Arduino 小 车 : 实现 宠物 机 器 人 的 动作 。 

5) 数码 锂电 池 : 给 BayTrail 板 和 Arduino 小 车 供电 。 规 格 为 12V/3A/6600Ah。 


宠物 机 器 人 的 稚 形 实现 如 图 16-2 所 示 。 
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(3) 通信 设计 


软件 包含 3 个 部 分 : 视觉 客户 端 、 服 务 器 、 安 卓 客户 端 。 其 中 视觉 客户 端 用 C# 编 写 ， 服 务 器 以 及 安 卓 客户 端 用 java 编写 ， 采 用 socket 来 连接 各 个 部 分 。 对 应 于 计划 实现 的 功能 设计 以 下 4 条 通信 的 数据 通 


道 (流向 ) : 


1) 用 户 在 安 卓 端 语音 选择 功能 ， 之 后 安 卓 端 发 送 命令 到 服务 器 ， 服 务 器 再 命令 视觉 客户 端 开启 相应 的 检测 模块 。 

2) 在 执行 表情 识别 这 一 功能 时 ， 用 户 的 表情 变化 被 摄像 头 检测 到 ， 视 觉 客户 端 发 送 相应 命令 到 服务 器 ， 服 务 器 命令 安 卓 端 做 出 相应 反应 (表情 、 语 音 等 ) 。 
3) 执行 面部 跟踪 和 手势 识别 这 两 个 功能 时 ， 用 户 的 面部 、 手 势 被 摄像 头 检测 到 ， 视 党 客户 端 发 送 相应 的 命令 到 服务 器 ， 服 务 器 控制 小 车 做 出 对 应 动作 。 

4) 服务 器 根据 表情 识别 的 结果 和 时 间 控 制 宠物 机 器 人 属性 值 的 变化 ， 当 属性 达到 一 定 值 时 会 触发 安 卓 端 做 出 特定 反应 。 


上 述 4 条 通信 数据 通道 如 图 16-3 所 示 。 
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4. 软 件 模块 的 设计 


视觉 客户 端 是 根据 服务 器 发 送 过 来 的 功能 选择 命令 来 切换 宠物 机 器 人 的 功能 ， 同 时 将 检测 到 的 表情 、 手 势 等 信息 发 送 到 服务 器 


具体 实现 细节 如 下 : 


情 识 别 、 面 部 跟踪 和 手势 识别 ， 其 中 将 表情 识别 设置 为 一 直 启 动 的 功能 ， 而 另外 两 个 功能 则 根据 服务 器 的 命令 来 选择 。 


1) 视觉 功能 及 切换 。 这 里 涉及 3 个 功能 


视觉 功能 主线 程 核 心 代码 及 注释 如 下 : 


while (isListening) 
{ // 启 动 表情 线程 ， 同 时 主线 程 监听 服务 器 的 功能 选择 命令 
emotion thread emo thread = new emotion thread (sender); 
int count = sender .Receive (bytes); 
// 根 据 功能 选择 命令 选择 功能 
switch (Encoding.UTF8.GetString (bytes, 0, count)) 
{ 


case "come-to-me" // 面 部 跟踪 
emo threadq.emo module end(); // 先 关 掉 表情 线程 
come to те (); ”// 启 动 面部 跟踪 
break; 

case "dancing": // 手 势 识别 (ЖЕ) 


emo thread.emo module end(); 
dancing dance=new dancing(sender); 
dance .runnino(); 
break; 

default: 
emo thread.emo module end(); 
break; 


2) 面部 跟踪 。 所 谓 “ 面 部 跟踪 ” 指 的 是 ， 宠 物 机 器 人 通过 摄像 头 定位 人 脸 的 位 置 ， 并 依据 这 一 信息 走 到 人 的 面前 。 算 法 的 流程 如 下 : 
@ 宠 物 机 器 人 判断 人 脸 的 横向 位 置 〈 即 水 平 位 置 ) ， 即 判断 人 脸 是 在 自己 右边 、 中 间 还 是 左边 。 然 后 转动 到 合适 角度 ， 使 人 脸 位 于 视野 的 中 央 ， 然 后 前 进 。 


@ 在 行进 过 程 中 判断 人 脸 的 纵向 位 置 ， 即 人 脸 到 摄像 头 的 距离 。 在 到 达 特 定 距 离 (40 厘 米 和 90 厘 米 ) 处 时 ， 停 下 进行 修正 ， 即 重新 判断 人 脸 的 横向 位 置 来 修正 方向 ， 之 后 继续 前 进 。 这 里 涉及 一 个 难 
点 ， 即 宠物 机 器 人 可 能 因 路 面 不 利 等 条 件 偏离 行走 方向 ， 导 致 最 后 因 看 不 到 人 脸 而 停 不 下 来 。 引 入 修正 即 可 解决 这 一 问题 。 


@@ 行 进 到 距离 人 脸 10 厘 米 左右 处 停 下 。 


上 述 横向 及 纵向 位 置 采用 SDK 提 供 的 绘制 人 脸 矩 形 的 方法 和 类 库 实 现 ， 以 矩形 的 中 间 点 坐标 定位 人 脸 的 横向 位 置 。 以 矩 


素 个 数 越 多 。 人 脸 和 矩形 如 图 16-4 所 示 。 


人 脸 定位 代码 举例 如 下 : 
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度 ， 人 离 摄像 头 越 近 ， 所 占 的 像 


public Face location() 


{ 


pxcmStatus sts = 


PXCMSession.CreateInstance (out session); 


if (sts < pxcmSta 


Console.WriteLine ("Failed to create an SDK session"); 


tus.PXCM STATUS NO El 


RROR) 


return; 
} 
sts = зеѕѕіоп.СгеаіеТтр1<РХСМЕтобіоп> (PXCMEmotion.CUID, out emotionDet); 
if (sts < pxcmStatus.PXCM STATUS NO ERROR) 
I 
Console.WriteLine ("Failed to create the emotionDet module"); 
session.Dispose () ; 
return; 
} 
capture = new UtilMCapture (session); 
Console.WriteLine ("Pair moudle with Т/О"); 
for (uint i = 0; ; i++) 
{ 
PXCMEmotion.ProfileInfo pinfo; 
sts = emotionDet.QueryProfile (i, out pinfo); 
if (sts < pxcmStatus.PXCM STATUS NO ERROR) break; 
sts = capture.LocateStreams (ref pinfo.inputs);/ 
if (sts < pxcmStatus.PXCM STATUS NO ERROR) continue; 
sts = emotionDet.SetProfile (ref pinfo); 
if (sts >= pxcmStatus.PXCM STATUS NO FRROR) break; 
} 
if (sts < pxcmStatus.PXCM STATUS NO ERROR) 


Console.WriteLine ("Failed to pair the 


capture.Dispo 
emotionDet.Di 
session.Dispo 


se(); 
spose () ; 
se(); 


I/0"); 


face module with 


return; 
} 
//face.SetProfile (ref pinfo); 
images = new PXCMImage [PXCMCapture.VideoStream. STREAM LIMIT]; 
sps = new PXCMScheduler.SyncPoint[2]; 
Console.WriteLine ("Streaming"); 


3) 手势 识别 (“跳舞”) 。 手 势 识 别 包含 两 个 子 功能 ， 一 是 根据 用 户 的 手势 动作 来 向 特定 的 方向 移动 ; 二 是 用 户 做 一 组 手势 ， 宠 物 机 器 人 记忆 下 来 并 根据 手势 的 顺序 做 相同 动作 。 为 了 区 分 单独 的 手 
势 ， 用 户 需要 以 两 个 特定 的 手势 作为 一 组 手势 的 开始 和 结束 。 一 些 特定 的 姿势 可 以 持续 较 长 时 间 ， 例 如 坚 大 拇指 ， 因 此 需要 判断 前 后 两 个 手势 是 否 一 致 。 


(2) 安 车 客户 端 程 序 


Android 应 用 的 功能 是 实现 接收 从 服务 器 发 来 的 信息 并 处 理 ， 然 后 做 出 相应 的 反应 以 达到 互动 的 目的 。 例 如 当 用 户 对 着 摄像 头 微笑 或 者 伤心 时 ， 手 机 上 的 宠物 机 器 人 也 会 有 微笑 或 活 泣 的 表情 。 用 户 可 
以 通过 离线 语音 识别 控制 宠物 机 器 人 小 车 寻找 人 脸 并 靠近 ， 或 者 用 户 可 以 控制 宠物 机 器 人 跟随 手势 跳舞 。 


整个 应 用 的 主要 实现 方式 是 运用 了 Android socket 与 服务 器 进行 通信 ， 采 用 异步 消息 处 理 接收 服务 器 的 消息 。 具 体 包括 以 下 4 个 模块 : 
1) 通过 socket 与 服务 器 建立 连接 。 这 一 部 分 的 重点 是 Android 主 线程 不 允许 进行 网 络 连接 等 可 能 造成 阻塞 的 工作 ， 所 以 要 把 socket 连 接 的 工作 放 到 一 个 线程 中 去 完成 。 
2) 客户 端 监听 线程 ， 接 收服 务 器 发 过 来 的 消息 并 发 送 给 主线 程 。 这 一 部 分 主要 完成 接收 服务 器 发 来 的 数据 ， 然 后 生成 相应 的 标志 发 送 给 主线 程 做 出 相应 的 处 理 。 


3) 主线 程 消息 处 理 。 代 码 如 下 : 


private Handler myhandler = new Handler (){ 
QOverride 
public void handleMessage (Message msg) { 
super .handleMessage (msg) ; 
final String strx=String.valueo 
if (msg.what == 1){ 
//[/bmp.Jjava 包 含 这 个 应 用 的 全 局 变量 
final bmp dead = (bmp) getApplication (); 
dead.setFlag (false); 
// 得 到 服务 器 返回 的 信息 
Intent intent =new Intent (MainActivity.Lthis,casejoy.class); 
// 启 动 anctivity， 做 出 宠物 机 器 人 微笑 的 表情 
startActivity (intent); 
} 
else if (msg.what==2) { 
final bmp dead = (bmp) getApplication(); 
dead.setFlag (false); 
Intent intent =new Intent (MainActivity.this,casedisgust.class); 
startActivity (intent); 


(msg.obj); 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15635/0EBPS/Text/..http://www.hzcourse.com/resource/readBook?path=/openresources/ 


这 一 部 分 主要 是 消息 处 理 ， 进 行 活动 切换 。 这 里 要 用 到 Android 图 片 播放 canvas 类 ， 其 中 有 一 个 难点 是 图 片 的 初始 化 问题 ， 最 好 第 一 次 在 主 活动 中 就 完成 初始 化 ， 这 样 ， 之 后 的 活动 无 需 再 次 初始 化 图 
片 ， 避 免 内 存 溢 出 的 问题 。 


4) 离线 语音 识别 ， 利 用 SDK 自 带 语音 识别 和 合成 包 实 现 。 

(3) 服务 器 

根据 项 目 需要 ， 服 务 器 所 实现 的 基本 功能 如 下 : 

1) 分 别 与 摄像 头 服务 程序 、 小 车 串口 服务 以 及 手机 客户 端 程序 进行 连接 并 通信 。 
2) 完成 宠物 机 器 人 属性 的 更 改 、 保 存 ， 并 向 手机 客户 端 进行 更 新 。 

3) 开机 时 读 取 本 地 记录 读 取 初 始 属性 。 

Д) 根据 摄像 头 以 及 手机 的 不 同 指令 进行 功能 的 修改 ， 并 做 出 响应 动作 。 


5) 定时 监听 摄像 头 、 手 机 、 小 车 是 否 正常 工作 ， 并 做 出 相应 动作 。 


5.Arduino 小 车 及 硬件 装配 部 分 


在 本 项 目 中 ，Zduino 智 能 小 车 是 电子 宠物 机 器 人 的 身体 ， 采 用 的 Zduino Summer 是 一 款 基 于 ArduinoUNO 的 专用 于 智能 小 车 设计 开发 的 微 控 制 器 板 。 主 板 集成 了 ArduinoUNO 与 L298 电 机 驱动 ， 具 有 
两 路 大 电流 电机 输出 通道 。 另 外 集成 了 连接 传感器 需要 的 扩展 口 、 蓝 牙 (BlueTooth) 及 无 线 模块 APC220 的 扩展 接口 ， 还 有 独立 的 舵 机 供电 接口 ， 并 且 完 全 兼容 UNO 引 脚 位 置 。Zduino Summer 功 能 比较 
强大 ， 这 对 小 车 控制 有 很 大 帮助 。 


小 车 需要 接收 从 服务 器 发 送 过 来 的 控制 命令 ， 根 据 小 车 和 服务 器 之 间 的 协议 ， 控 制 宠物 机 器 人 身体 的 运动 。 小 车 和 服务 器 之 间 的 通信 采用 串口 ， 本 项 目 利用 PWM 调 速 控制 小 车 ， 并 在 不 同 功能 实现 时 采 
用 不 同 的 速度 ， 比 如 在 识别 物体 时 速度 较 慢 ， 在 跳舞 时 速度 较 快 。 


6. 创 新 点 
1) 相 比 市 面 上 比较 成 熟 的 电子 宠物 ， 本 例 特 有 的 视觉 特性 提供 了 更 生动 、 更 有 趣 的 交互 方式 。 并 且 伴 随 着 感知 计算 技术 的 不 断 成 熟 ， 这 一 宠物 机 器 人 也 将 会 有 很 大 的 扩展 空间 ， 提 供 不 断 更 新 的 交互 方 


式 和 玩法 ， 给 用 户 带 来 不 断 升 级 和 完善 的 体验 。 
2) 使 用 人 脸 的 位 置 来 帮助 宠物 机 器 人 寻找 用 户 ， 扩 展 了 人 脸 检测 和 识别 的 用 途 。 


3) 以 感知 计算 提供 的 丰富 手势 识别 特性 ， 定 义 了 以 手势 或 者 手势 组 合 指挥 宠物 机 器 人 完成 特定 动作 的 “跳舞 ”功能 。 如 果 以 后 可 以 升级 宠物 机 器 人 的 机 械 装 置 、 扩 充 手 势 识别 的 类 库 ， 将 会 有 更 加 出 色 
的 效果 和 更 加 完美 的 体验 。 


4) 以 我 们 生活 常用 的 智能 手机 作为 宠物 机 器 人 的 脸 、 耳 水 和 跨 ， 并 且 可 以 随意 取 下 和 装 上 。 以 现 有 系统 为 基础 ， 开 发 者 可 定制 各 种 各 样 的 应 用 程序 ， 将 会 大 大 提高 市 场 价 值 。 
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1. 项 目 目标 


本 项 目的 目标 是 开发 一 个 肉 类 豪 饪 教学 工具 ， 使 用 户 可 以 通过 手势 操作 画面 中 的 豪 饪 物品 ， 在 平台 的 提示 下 完成 训 饪 的 流程 ， 进 而 掌握 亮 饪 的 方法 和 技巧 。 与 传统 的 亮 饪 教学 形式 ， 比 如 菜谱 或 视频 教 
学 节目 相 比 ， 通 过 手势 操作 亲自 参与 亮 饪 过 程 具有 更 好 的 交互 性 ， 也 能 获得 较 好 的 教学 效果 。 


本 项 目 主 要 功能 是 实现 肉 类 菜肴 毫 饪 处 理 教程 。 用 户 可 通过 各 种 手势 的 运用 ， 完 成 包括 切 生 肉 块 、 操 作 电 磁 炉 、 敲 肉 、 撤 盐 等 步骤 的 肉 类 处 理 过 程 。 完 成 整个 过 程 后， 平台 将 给 出 操作 分 数 和 具体 建 
议 ， 指 出 毫 饪 过 程 的 不 当 操 作 ， 帮 助 用 户 更 快 地 学 习 肉 类 处 理 的 正确 流程 ， 并 掌握 注意 事项 。 这 个 襄 饪 教学 平台 特别 适合 于 实际 襄 饪 前 的 模拟 训练 ， 类 似 的 应 用 场景 非常 广阔 。 


本 例 选 自 清华 大 学 电子 工程 系 核心 课程 媒体 与 认 知 课程 项 目 。 
2. 开 发 环境 
计算 机 硬件 配置 : 处 理 器 为 Intel Core i5-3230M ， 主 频 2.6GHz， 内 存 6GB 
计算 机 软件 环境 : Windows 8.164 位 ，Unity 5.2.1f1 
摄像 头 设备 : Intel RealSense Camera (F200) 


Intel 软 件 开发 工具 包 (SDK) : intel rs sdk offline package r4 6.0.21.6598 


3. 模 块 划分 
肉 类 豪 饪 教学 平台 实现 划分 为 襄 饪 动作 、 豪 饪 操作 流程 及 评判 系统 。 相 应 模块 任务 细 分 如 下 。 


(1) Хажж 


为 了 使 用 户 操作 更 加 简便 和 亮 饪 动作 的 统一 ， 豪 饪 动作 使 用 如 表 16-1 所 示 几 种 手势 触发 作为 基础 操作 。 


手 5 
Fejdul (tap) 
挥 于 (swipe ) 


表 16-1 ЖЯ 


(2) 操作 流程 设计 
以 剖 肉 为 例 ， 完 整 操作 的 流程 如 表 16-2 所 示 ( 按 顺 序 进行 ) 。 


表 16-2 操作 流程 


п R 手势 动作 X M 手势 动作 
选择 肉 排 tap ЁЁ 选择 电磁 炉 开 关 tap 开关 
移动 肉 排 至 砧板 关闭 电磁 炉 开 关 swipe 


HA l-sign 移动 手指 ФЕР ќар TE E T 


ПП == 


移动 肉 排 至 锅子 结束 撤 盐 OK-sign 


选择 电磁 炉 开关 将 肉 出 锅 ， 放 到 盘子 内 tap 盘子 
Iru: [зш о | Е 


(3) 评判 系统 


完成 上 述 操作 后 ， 本 工具 将 根据 用 户 的 操作 给 出 分 数 和 建议 。 评 判 机 制 如 表 16-3 所 示 。 


表 16-3 评判 机 制 


评判 项 目 
权重 


节 肉 项 目 最 终 成 绩 为 : S=A+B+C。 


А: 煎 肉 时 间 把 握 评 分 标准 ( 肉 类 状态 根据 前 肉 时 间 长 短 分 为 4 类 ， 分 别 由 4 种 颜色 表示 ， 由 浅 至 深 ) , 
生 : A=20 


半熟 : A=50 


їз * 


В: 撒 盐 时 间 评 分 标准 ， 满 分 为 15 分 。 


则 B=floor(15xexp(-2(t-3)*))， 其 中 floor0 表 示 向 下 取 整 。 即 在 t=3 时 取得 满分 ， 其 他 情况 分 数 指数 衰减 ， 并 取 整 数 部 分 
C: 操作 顺序 评分 标准 ， 满 分 为 35 分 。 

正确 顺序 为 : 移动 肉 至 砧板 一 切 肉 一 移动 肉 到 锅子 一 开 电 磁 炉 一 翻 炒 一 关 电 磁 炉 一 撒 盐 一 移动 肉 到 盘子 ， 总 共 8 步 。 
豪 饪 开始 时 ， 用 一 个 变量 ( 设 为 a) 记录 当前 应 该 做 的 正确 步骤 号 ， 另 一 个 变量 ( 设 为 b) 记录 当前 操作 者 触发 的 步骤 号 
若 触 发 正确 步骤 ， 则 a++，b++， 各 自 加 1。 


若 触 发 错误 步骤 ， 则 a 不 变 ，b 等 于 错误 步骤 号 。 


出 现 a!=b 的 情况 ， 则 C=C-5， 即 C 项 每 错 一 次 扣 5 分 ， 扣 完 为 止 。 
在 豪 饪 结束 ， 即 肉 放 到 盘子 上 的 时 候 ， 给 出 最 终 分 数 3?， 并 针对 每 项 内 容 给 出 建议 。 
豪 饪 完成 后 最 终 显示 的 内 容 为 : 

YOUR SCORE 15: S 

建议 1 (针对 人 A) 

建议 2 (针对 B) 


建议 3 (针对 C) 
4. 项 目 实 现 


(1) 动画 设计 


项 目 实施 在 Unity 内 新 建 了 一 个 项 目 ， 利 用 Unity 完 成 动画 设计 ， 设 计 了 包括 电磁 炉 、 刀 、 砧 板 、 盘 子 、 盐 镀 子 、 电 磁 炉 开关 等 对 象 ， 


797 


详细 设计 了 它们 的 形状 、 


操作 顺序 C 
35% 


纹理 、 颜 色 等 ， 如 图 16-5、 图 16-6 所 示 。 


Маш Camera 
Plane 1 
Plane 2 

p frying рап 
Directional light 
meat 
board 

P knife 
InductionCooker 
ButtonForIC 


LEDlamp 
Plate 

bb SaltFound 
LEDfound 


(2) 代码 实现 


816-6 肉 类 误 饪 物体 设计 效果 


完成 动画 设计 后 ， 用 C# 语 言 编写 代码 ， 包 含 了 动画 控制 器 、 对 象 属性 的 定义 、 评 判 系统 、 手 势 识别 的 程序 实现 。 


肉 类 豪 饪 教学 共用 到 4 种 手势 ， 其 中 食指 坚 起 (1-sign) 这 一 手势 在 SDK 中 没有 定义 ， 因 此 需要 自己 编写 函数 来 实现 这 一 手势 的 识别 。 


下 面 说 明 编 写 代码 的 具体 思路 。 


主 代码 编写 在 Handsviewer.cs 里 ， 并 以 SDK 提 供 的 编程 接口 为 主 脉络 编写 。 其 他 代码 包括 一 些 摄像 头 控制 代码 、 动 画 代 码 等 ， 分 别 编写 在 其 他 的 C# 文件 中 。 肉 类 亮 饪 教学 工具 实现 效果 如 图 16-7 所 示 。 


(e 


YOUR SCORE 15855 


Your meat was overdone, Please reduce ће time you spent frying the meat next time. 


The salt you sprinkled was too little. Үрп гагыи Бе Шапа РЇёа<е sprinkle more salt next time. 
Кои соокед the meat in the right arder! 


图 16-7 肉 类 毫 饪 教学 工具 实现 效果 


本 项 目 涉及 SDK 的 部 分 主要 是 依据 SDK 采 集 并 返回 的 数据 ， 将 手 部 的 位 置信 息 投影 到 一 个 光标 上 ， 并 将 手 部 的 坐标 系 原点 定 在 观察 者 摄像 头 所 在 地 点 ， 这 样 可 以 通过 手 部 的 移动 来 控制 这 个 光标 。 而 从 
摄像 头 原点 到 这 个 光标 的 2D 坐 标 做 一 条 射线 ， 检 测 射线 碰 到 的 豪 饪 物体 就 可 以 选择 物体 。 通 过 选择 物体 以 及 相关 手势 的 识别 ， 就 能 完成 毫 饪 的 操作 控制 了 。 手 部 处 理 初始 化 部 分 代码 如 下 : 


void Start () 
{ 


cutting = false; 
Cursor.visible = false; 


handList = new Hashtable 
/* 初始 化 PXCMSenseManager 实 


//hide cursor 


(); 


a */ 


sm = РХСМбепѕеМападег.СгеаёеІпѕіёапсе 


if (sm == null) 


ts = sm.EnableHand (); 


/* 初始 化 处 理 流水 线 */ 
sts = sm.Init (); 
i£ 


Debug.LogError ("SenseManager 


* 使 能 手 部 跟踪 并 配置 手 部 模块 */ 


Initialization Failed"); 


/ 
8 
handAnalyzer = sm.QueryHand (); 
if (sts != pxcmStatus.PXCM STATUS NO ERROR) 
Debug.LogError ("PXCSenseManager.] 


if (sts != pxcmStatus.PXCM STATUS NO 1 


EnableHand: " + sts); 


Debug.LogError ("PXCSenseManager.Init: " + sts); 


/* 获取 DataSmoothing 实例 */ 
teImpl<PXCMDataSmoothing> (out ds); 


sm.QuerySession ().Crea 
/* 创建 3D 加 权 算 法 */ 
smoother3D = new PXCMDa 


taSmoothing .Smoother3D[MaxHands] [ ] ; 
/* 配置 手 部 ， 使 能 手势 和 警报 */ 


PXCMHandConfiguration hcfg = handAnalyzer.CreateActiveConfiguration () 


hcfg.DisableAllGestures 


(); 


hcfg.EnableGesture ("swipe left"); 

hcfg.EnableGesture ("swipe right"); 

hcfg.EnableGesture ("tap"); 

hcfg.EnableGesture ("two fingers pinch open"); 

hcfg.EnableGesture ("spreadfingers"); 

hcfg.EnableAlert (PXCMHandData.AlertType.ALERT HAND NOT DETECTED) ; 
hcfg.ApplyChanges (); 

hcfg.Dispose (); 

InitializeGameobjects (); 


自 定 义 的 切 肉 手势 1-sign， 是 通过 判断 骨头 之 间 夹 角 完 成 的 ， 当 食指 指 尖 和 中 指 关 节 的 夹 角 大 于 某 一 角度 时 ， 判 定 用 户 做 出 了 食指 坚 起 这 一 手势 。 这 样 做 的 识别 精度 还 算 理 想 。 但 是 因为 不 能 连续 判断 
这 个 手势 ， 因 此 还 需要 一 个 完成 切 肉 的 手势 (五指 伸 开 ) 来 退出 切 肉 状态 。 下 面 是 手势 处 理 部 分 程序 。 


void Gestures (PXCMHandData.GestureData gesture,int n) 


{ 


switch (gesture.name) { 
case "spreadfingers": 


// 手指 伸展 分 支 


if (cutting) 

{ end=MousePos; 
cut command=Lrue; 
if (step<=3) 
{ 


cut () 
cutting = false; 
state = 2; 
1Ё ( 
{ 


step=3; 
} 
else 
mistakes++; 
| 
} 
break; 
case "tap": 
Debug.Log ("tap detected"); 
// Tap 分 支 


var pos = Camera.main.WorldToScreenPoint (myJoints [n] [l] .transform.position); 
Ray ray = Camera.main.ScreenPointToRay (pos); 
RaycastHit hitlnfo; 


if (Physics.Raycast (гау, out hitInfo)) { 
gameObj = hitIinfo.collider.gameObject; 
Debug.Log ("select object name is " + gameOb] .name) ; 
counter = 1; 
select flag = true; 
} 
break; 


case "swipe right": 
case "swipe left": 
// swipe 分 支 
Debug.Log ("swipe left detected"); 
if (select flag) { 
animator = gameObj.GetComponent<Animator> (); 
var lamp = GameObject.Find ("LEDlamp"); 
Animator animator lamp = lamp.GetComponent<Animator> (); 
if (state == 1 && gameObj.name == "meat") { 
GameObject[] meat = GameObject.FindGameObjectsWithTag ("meat"); 
foreach (GameObject m in meat) { 
animl anim=m.GetComponent<animl> () ; 
anim.play=true; 


ы 


} 

step = 2; 

state=1; 

meat is on pan=false; 
meat is on plate=false; 


select flag = false; 
return; 
} 
if (gameObj.name == "роага") { 
GameObject[] meat = GameObject.FindGameObjectsWithTag ("meat"); 
foreach (GameObject m in meat) { 
anim2 anim=m.GetComponent<anim2)> () ; 
anim.play=true; 
} 
select flag = false; 
if (step==3) 
step = 7; 
else 
mistakes++; 
state=3; 
meat is on pan=true; 
meat is on plate=false; 
return; 
} 
if (!cooker is on && gameobj .name == "ButtonForIC") { 
cooker is on = true; 
animator.SetTrigger ("51"); 
animator lamp.SetTrigger ("51"); 
state=4; 
select flag = false; 
return; 
} 
if (gameobj .name == "SaltFound") { 
animator.SetTrigger ("sl"); 
animator.SetTrigger ("s2"); 
animator.SetTrigger ("53"); 
salting time++; 
is salting=true; 
select flag = false; 
state=5; 
if(!meat is on pan) 
I 
mistakes++; 
} 
return; 
| 
if (gameobj .name == "Plate") { 
GameObject[] meat = GameObject.FindGameObjectsWithTag ("meat"); 
foreach (батеОрјесі m in meat) { 
anim3 anim=m.GetComponent<anim3> () ; 
anim.play=true; 
} 
select flag = false; 
state=6; 
meat is on pan=false; 
meat is on plate=true; 
return; ° 
} 
if (cooker is оп && gameob]j .name == "ButtonForIC") { 
cooker is on=false; 
animator.SetTrigger ("s2"); 
animator lamp.SetTrigger ("s2"); 
select flag = false; 
state=7; 
return; 
} 
} 
break; 


case "two fingers pinch open": 
// finger pinch open 分 支 


ТАЕ (select ag) 


select ag = false; 


if (state = 5) 
{ 


animator.SetBool("s4", true); 
is salting=false; 


break; 


16.3” 穿 墙 虚 拟 现 实 游 戏 


1. 项 目 创意 


本 项 目 尝 试 将 感知 计算 运用 到 一 个 自己 设计 的 小 游戏 当中 。 以 简单 的 人 体 姿势 识别 为 基础 ， 实 现 一 个 基于 Intel RealSense 3D 摄 像 头 的 穿 墙 小 游戏 。 相 较 于 普通 的 游戏 ， 这 款 小 游戏 充分 利用 了 3D 实 感 
技术 的 优势 ， 通 过 获取 摄像 场景 的 深度 与 彩色 信息 来 实现 游戏 逻辑 。 由 于 采用 了 虚拟 现实 技术 ， 用 户 体验 良好 ， 游 戏 真实 感 强 。 


2. 项 目 目标 
本 项 目的 目标 是 利用 Intel RealSense 3D 摄 像 头 (R200) 获取 深度 信息 ， 并 实现 人 体 姿势 识别 ， 在 此 基础 上 完成 一 个 虚拟 现实 的 体感 小 游戏 一 一 穿 墙 游戏 。 游 戏 的 功能 如 下 : 
1) 屏幕 左上 角 实 时 显示 摄像 头 视频 。 
2) 对 用 户 的 姿势 作出 识别 ， 并 用 绿色 虚 影 显示 在 屏幕 中 央 。 


3) 游戏 会 对 用 户 的 姿势 与 墙 上 空洞 的 人 体 姿 势 进行 对 比 ， 当 两 者 一 致 时 ， 用 户 才 可 以 获得 游戏 加 分 ， 同 时 出 现 绿色 的 pass 字 样 ;而 两 者 不 一 致 即 用 户 姿 势 错误 时 则 不 会 获得 加 分 ， 屏 幕 中 央 也 会 出 现 红 
色 的 fail 字 样 。 


4) 用 户 穿 墙 失 败 的 同时 左下 方 用 户 生 命 值 减少 ， 当 用 户 生命 值 为 0 时 ， 游 戏 结束 。 
5) 采用 虚拟 现实 技术 ， 实 现 了 多 样 的 游戏 场景 ， 画 面 真 实感 较 强 。 
游戏 画面 如 图 16-8、 图 16-9 所 示 。 
3. 模 块 划分 
本 游戏 项 目 共 涉 及 人 体 姿势 识别 、 游 戏 界面 及 游戏 逻辑 构建 3 个 主要 部 分 。 
姿势 识别 通过 将 手 辟 姿势 分 为 左上 、 右 上 、 左 中 、 右 中 、 左 下 、 右 下 6 种 状态 进行 区 分 。 游 戏 利用 SDK 获 取 彩 色 和 深度 数据 ， 进 一 步 区别 手 辟 的 6 种 状态 。 


游戏 主要 逻辑 为 : 如 果 检 测 到 用 户 的 手臂 姿势 同 画 面 中 墙 上 的 人 体 姿势 一 致 ， 则 SCORE 加 100 分 ， 否 则 左下 方 的 血 量 减少 ， 如 图 16-10 所 示 。 当 血 量 为 0 时 ， 出 现 “GAME OVER” 字 样 ， 并 显示 此 次 挑 
战 总 分 ， 如 图 16-11 所 示 。 


图 16-8 ” 穿 墙 成 功 


图 16-9” 穿 墙 失 败 


游戏 界面 动画 的 设计 用 Unity 实 现 。 


чага 7 СА = 
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图 16-10 ”用 户 动作 与 墙 面 要 求 不 一 致 ， 穿 墙 失败 
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图 10-11 心 形 血 槽 空 ， 游戏 结 3 并 显示 最 后 总 分 


深度 与 彩色 数据 接口 可 从 R200 摄 像 头 的 Unity 封 装 插件 libdsapi.dll 中 获得 。 计 算 手 臂 姿 势 时 ， 首 先 利 用 QueryRGBC 函 数 获取 32 位 RGBA 彩 色 图 像 数据 ， 转 换 后 形成 整 幅 图 像 的 Text2D 实 例 。 之 后 利用 
QueryDepthMapC 函 数 获取 深度 图 和 像 ， 相 关 代码 如 下 : 


public bool QueryRGB (Texture2D text2d) { 
// 获取 整 幅 图 像 的 Text2D 实 例 

if (!initialized || text2d==null) return false; 

Color32[] pixels=text2d.GetPixels32 (0); 

// 分 配 存 储 空间 

GCHandle pixelsHandle = GCHandle.Alloc (pixels, GCHandleType.Pinned); 

// 获取 RGBA 彩 色 图 像 数 据 

bool sts=QueryRGBC (pixelsHandle.AddrOfPinnedObject () ) ; 

int len = pixels.Length; 

// 格式 转换 

for (int i = 0; i < len / 2; i++) 

I 


Color32 c = ріхе15[1]; 


byte t; 

Ë = с; 

Gr = ее: 

@ D. = t; 

pixels[i] = pixels[len - i - 1]; 
pixels[len - i - 1] = c; 
с = ріхе15[1]; 

Е = с.ү; 

себ = G. D? 

Ge D: = у 

pixels[i] = c; 


) 

// 生成 Text2D 实 例 
text2d.SetPixels32 (pixels, 0); 
pixelsHandle.Free (); 

return sts; 


} 
public bool QueryDepthMap (Short [] depthmap) 
I 


if (!initialized || depthmap == null) return false; 

// 分 配 存 储 空间 

GCHandle depthmapHandle = GCHandle.Alloc (depthmap, GCHandleType.Pinned); 
// 获取 深度 数据 

bool sts = QueryDepthMapc (depthmapHandle.AddrOfPinnedObject () ) ; 
depthmapHandle.Free () ; 

return sts; 


其 中 ，QueryRGBC 函 数 、QueryDepthMapC 函 数 是 把 DSAPI 中 获取 RGB 和 Depth 数 据 的 函数 封装 后 的 导出 接口 函数 。DSAPI 是 SDK ROS 版 本 的 库 函 数 。Unity 可 以 从 封装 的 libdsapi.dll 库 中 导入 这 些 
接口 ， 然 后 在 cs 脚本 中 完成 摄像 头 初始 化 启动 后 就 可 以 随时 调用 QueryRGBC、QueryDepthMapC， 人 得 到 实时 的 深度 和 彩色 图 像 数据 了 。 


Libdsapi 的 两 个 接口 函数 的 实现 如 下 : 


bool ZfQueryRGB (char* data) 
{ 


memcpy (data, g third->getThirdImage(), 640 * 480 * 4); 
return true; 


} 
bool ZfQueryDepth (char* data) 


{ 


memcpy (data, 9 dsapi->getZImage(), 628 * 468 * 2); 
return true; 


EI| eR e Eq remt 
5. 利 用 深度 信息 实现 游戏 逻辑 


通过 导入 的 深度 与 彩色 信息 接口 得 到 rgblmage 和 depthlmage 后 ， 通 过 以 下 的 更 新 代码 实现 游戏 的 总 体 逻 辑 ， 包 括 判断 用 户 穿 墙 成 功 的 逻辑 、 穿 墙 成 功 或 失败 之 后 的 游戏 界面 显示 等 。 游 戏 中 总 共 设置 
了 4 种 穿 墙 动作 场景 。 游 戏 中 根据 场景 定义 顾 上 、 右 上 、 左 中 、 右 中 、 左 下 、 右 下 6 个 不 同位 置 和 状态 的 长 方 体 ， 计 算出 满足 当前 场景 条 件 下 胶体 投影 点 的 数量 ， 据 此 可 以 粗略 判断 用 户 动作 和 场景 要 求 是 否 


void Upda 


{ 


ы 


се () 


(!zd.Grab()) return; 
(rgbImage != null && zd.QueryRGB (rgbImage)) 


H- — 


rgbImage.Apply (); 


(depthImage != null) 


short 


[] 
// zd.QueryDepthMap (data); 


data = new Short [628 * 468]; 


~ 一 


r 


int mode = zd.QuerySmoothDepthMap (даса); 
// 模式 识别 


int[] point = new int[6]; 


{ 


{ 


} 
} 


for (int i = 0; i < 6; i++) 


for (int y = (int)rects[i].yMin; y < ( 


Í 
} 


byte r = 0, g = 0, b = 0; 
switch (mode) 
{ 
case 0: 
break; 
case 1: 
g = 255; 
break; 
case 2: 
g = 255; 
break; 
case 3: 
а = 255; 
ргеак; 
саѕе 4: 
g = 255; 
break; 


} 
Color32 [] pixels = depthImage.GetPixels32( 


int)rects[i].yMax; у++) 


for (int x = (int)rects[i].xMin; х < (іпі) гесіѕ[1].хМах; х++) 


if (data[y * w + x] > 0 & data[y * w + х] < 2000) point[i]++; 


у; 


GCHandle pixelsHandle = GCHandle.Alloc (pixels, GCHandleType.Pinned); 


int scene = 0; 


if (scenel.transform.position.z <= 0) 


{// 在 场景 1 范围 内 


scene = 1; 


) 


else if 


(scene2.transform.position.z <= 0) 


{// 在 场景 2 范围 内 


scene = 2; 


) 


else if 


(scene3.transform.position.z <= 0) 


{// 在 场景 3 范围 内 


scene = 3; 


) 


else if 


(scene4.transform.position.z <= 0) 


{// 在 场景 4 范围 内 


scene = 4; 


) 


int num = 10; 


// 场景 动作 判别 


] > nm && point[ (int)Hand.RightTop] > пит) 


if ( 
(scene == 1 && point[(int)Hand.RightMiddle] > num) || 
(scene == 2 && роіпі [ (int)Hand.LeftTop 
(scene == 3 && роіпі [ (int)Hand.LeftMiddle] > пит) || 
(scene == 4 && роіпі [ (int)Hand.LeftBot 


{ bValid = true; } 


else 


bValid = false; 


{ 


for (int y = 0; y < 468; ү++) 
for 


(int x = 0; x < 628; x++) 


ir 


else if (bValid) 


(ааба [у * 628 + х] == || dataly * 
pixels[y * depthImage.width + x] = 


) 


pixels[y * depthImage.width + x] = 


pixels[y * depthImage.width + x] 
} 


depthImage.SetPixels32 (pixels); 
pixelsHandle.Free (); 


depthImage .Apply (); 
{// pass GUI text 


GameObjec 


1f 
{ 


~H 


(Text.guiText.color.a > 0) 


Color color = Text.guiText.color; 
color.a -= Time.deltaTime; 

f (color.a < 0) color.a = 0; 

ext .guiText.color = color; 


tom] > num && point [(int)Hand.RightBottom] 


628 + x] >= 2000) 
new Color32 (0, 0, 0, 0); 


new Color32 (0, 255, 0; 50); 


new Color32 (255, 0, 0, 50); 


t Text = GameObject.Find ("Text"); 


f (Text.guiText.text == "Pass") 


pos.y += Time.deltaTime * 0.3f; 


i 
T 
Vector3 pos = Text.guiText.transform.position; 
+ 


else pos.y -= Time.deltaTime * 0.3f; 


кай 


Text.guiText.transform.position = pos; 


(hp <= 0) 


Vector3 v = GameObject.Find("GAMEOVER") .transform.position; 


v.y += Time.deltaTime; 
ЇЕ (у.у > 0.5#) у.у = 0.5#; 


GameObject .Еіпа ("GAMEOVER") .transform.position = у; 
у = GameObject.Find("GUI Техі") .transform.position; 
у.у -= Time.deltaTime; 

if {vay < 0.6) vy = 0.6#; 

GameObject.Find("GUI Text").transform.position = v; 
у = GameObject.Find("ScoreText") .transform.position; 
v.y — Time.deltaTime; 

if (vy < 0.6#) у.у = 0.6#; 

Gameobject .Find ("ЗсогеТехі") .transform.position = у; 
gameOverTime -= Time.deltaTime; 

if (gameOverTime <= 0) 

I 


ResetGame(); // 重 置 游戏 


> num)) 
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